Попри успіхи в автоматизації коду, штучний інтелект поки далекий від того, щоб замінити програмістів, особливо в питаннях налагодження ПЗ. Про це свідчать дослідження Microsoft Research, яка представила середовище debug-gym. Це спеціальний симулятор для тестування і поліпшення ШІ-агентів під час налагодження реальних кодових баз.

На відміну від популярних рішень на кшталт GitHub Copilot, debug-gym дає ШІ доступ до інструментів, які раніше були недоступні моделями. Йдеться про точки переривання, переміщення по коду, читання змінних і написання тестів. Це дає змогу моделям діяти ближче до того, як працює розробник-людина, але навіть із цим вони все ще показують лише 48,4% успішних рішень, вважають експерти.

«Виправлення, пропоновані агентом кодування з можливостями налагодження, а потім схвалені програмістом, ґрунтуватимуться на контексті відповідної кодової бази, виконання програми та документації, а не покладатимуться винятково на здогади, що ґрунтуються на раніше переглянутих даних навчання», - стверджують у Microsoft.

Дослідники вважають, що проблема криється у відсутності навчальних даних із покроковими налагоджувальними сценаріями. Крім того, моделі поки що не вміють ефективно використовувати налагоджувальні інструменти. Наступним кроком може стати створення допоміжної моделі, яка збиратиме потрібну інформацію і передаватиме її основній.

Автори підкреслюють, що головна цінність таких ШІ - це допомога людині, а не її заміна. Навіть під час генерації коду під конкретні завдання моделі часто створюють уразливості та нестабільні рішення. У цьому контексті надія на «повну автоматизацію» розробки поки що виглядає передчасною.

Підбиваючи підсумок, експерти зазначили, що розвиток агентного ШІ в програмуванні рухається вперед, але роль людини залишається ключовою. Розробники залишаються незамінними в складних завданнях аналізу, інтерпретації та усунення помилок.