OpenAI, Google та Anthropic зіткнулися з проблемами під час розробки нових, потужніших моделей штучного інтелекту, які могли б покращити нинішні ChatGPT, Gemini й Claude. Про це пише Bloomberg з посиланням на власні джерела в компаніях.

Наприклад, нова модель OpenAI під назвою Orion не досягла бажаного рівня продуктивності й не буде таким великим кроком вперед порівняно з теперішніми моделями, яким була модель GPT-4 порівняно з оригінальною GPT-3.5.

Майбутня ітерація Gemini від Google теж не виправдовує внутрішніх очікувань. Компанія зосереджується більше на покращенні наявних можливостей Gemini, ніж на створенні революційно нової моделі.

Anthropic відстає від графіка випуску своєї довгоочікуваної моделі Claude під назвою 3.5 Opus. Вона показує кращі результати, ніж попередня версія, але не настільки, як очікувалося, враховуючи розмір моделі та витрати на її розробку.

Усі три компанії мають однакові проблеми, основна з яких - виснаження джерел даних, особливо для спеціалізованих сфер, на кшталт кодування.

Компанії, що розробляють штучний інтелект, дедалі частіше звертаються до використання штучно створених (синтетичних) даних, але такий підхід має свої обмеження. "Кількість [контенту] можна генерувати синтетично, але важко отримати унікальні високоякісні набори даних без допомоги людини, особливо коли йдеться про мову", - пояснила Ліла Третіков з венчурної компанії New Enterprise Associates.

В таких умовах зростання витрат на розробку більших моделей ШІ не завжди має очікуваний результат, що ставить під сумнів "закони масштабування", згідно з якими більше обчислювальних потужностей, даних та більші моделі неминуче приведуть до значного прогресу в ШІ.

Деякі експерти вважають, що для подальшого прогресу можуть знадобитись інші підходи.