Найкраща LLM-модель виконала повністю самостійно лише 26,4% завдань. Дослідники з Alibaba та кількох азійських університетів створили бенчмарк Co-Design Bench, який перевіряє ШІ-агентів не на зручних лабораторних задачах, а на реальних правках, із якими такі системи раніше справлялися погано. Результат: навіть лідер рейтингу в більшості випадків залишає хоча б одну недоробку, яку мусить виправляти людина. Про це пише The Decoder.

Що таке Co-Design Bench і як тестують ШІ-агентів для програмування

Автори взяли за основу справжні сесії програмування, а точніше ті, де користувачам доводилося переформульовувати запит або відкочувати зміни. Агент отримує готовий вебзастосунок і має його переробити. Іноді вхідними даними слугують не лише текст, а й зображення, аудіо, відео чи документи.

Масштаб завдань різний: від дрібних правок до повного перероблення проєкту. Приклад із мінімального рівня - дістати суму з чека й оновити всі залежні підсумки в застосунку.

Оцінюють роботу двоетапно:

Повний опис методики й дані доступні на сайті бенчмарку та в науковій статті на arXiv.

Результати бенчмарку: хто лідирує серед моделей

З десяти протестованих моделей найкраще впоралася GPT-6 Astra: у середньому вона задовольнила близько 70% вимог завдання, але повністю правильно виконала лише 26,4% задач. У більшості невдач не вистачало принаймні однієї деталі.

Далі в рейтингу йдуть Claude Opus 5 і Qwen3.8-Max, а останнє місце посіла Grok 4.6. Цікаво, що на масштабних переробках друге місце посіла значно менша Qwen3.8-27B.

Для порівняння: у застарілих тестах на кшталт WebCompass-edit моделі набирають понад 99%, а Co-Design Bench показує розрив понад 35 процентних пунктів. Тобто старі бенчмарки просто «насичені» й більше не розрізняють сильні системи та слабші.

Чому складні завдання для ШІ-агентів виявляються занадто важкими

Результати падають в усіх моделей, коли завдання поєднує три-чотири типи змін одночасно: макет, дизайн, інтерактивність і контент.

Окремо дослідники порівняли ресурсні витрати. На невеликих змінах GLM-5.2 витратила майже вшестеро більше токенів, ніж GPT-6 Astra, а результат отримала помітно гірший. Більше обчислень, виходить, зовсім не гарантує кращого коду.

За треками теж помітна різниця: GPT-6 Astra повністю розв'язала близько 41% мультимодальних завдань, але трохи менше ніж 18% завдань, пов'язаних із репозиторіями.

Середовище впливає на результат не менше, ніж сама модель

Один із найцікавіших висновків стосується робочого середовища. Qwen3.8-27B на масштабних переробках отримала 75% в одному середовищі та 56% в іншому, а рейтинг моделей теж змінювався залежно від нього. Тому автори радять завжди публікувати результати разом із середовищем, у якому їх отримано.

Це узгоджується з іншими спостереженнями:

Обмеження дослідження

Автори самі називають слабкі місця. Кожне завдання має один фіксований запит, тож уточнювальні питання та правки по ходу роботи не перевіряються. Крім того, ШІ-судді теж можуть помилятися.

Висновок практичний: ШІ-агенти вже непогано розуміють складні запити, але до надійного автономного виконання ще далеко. Ризик найбільший там, де змін багато й вони зачіпають різні шари застосунку. Тому код від агента варто перевіряти так само ретельно, як і роботу молодшого колеги.