Китай готується регулювати використання штучного інтелекту, зокрема чатботів, щоб захистити користувачів від психологічної шкоди, залежності та небезпечної поведінки. Влада вперше пропонує зобов'язати AI-сервіси втручатися у випадках згадок про самогубство, самопошкодження або насильство.

Кібер-адміністрація Китаю оприлюднила проєкт правил, які регулюватимуть усі продукти й сервіси ШІ, публічно доступні в країні. Документ поширюється на чатботи, зокрема боти-компаньйони. Він зобов'язує компанії попереджати користувачів про ризики надмірного використання ШІ та втручатися у випадках формування залежності. ШІ-сервісам заборонять поширювати контент, що загрожує національній безпеці або підбурює до насильства.

Найжорсткіші вимоги стосуються самогубств і самопошкодження. Якщо в діалозі з'являється згадка про суїцид, обов'язковим стане негайне втручання людини. Усі неповнолітні та літні користувачі під час реєстрації мають залишати контактні дані опікуна, якого повідомлятимуть у разі обговорення самопошкодження. Чатботам заборонять емоційні маніпуляції, неправдиві обіцянки, образи, наклепи, пропаганду азартних ігор, непристойностей і підбурювання до злочинів. Також вимагається показувати спливаючі попередження, якщо використання чатбота перевищує дві години. За словами ад'юнкт-професора Школи права NYU Вінстона Ма, ці правила можуть стати першою у світі спробою регулювання ШІ.

Ініціатива з'явилася на тлі зростання занепокоєння щодо шкоди від ШІ-компаньйонів. У 2025 році дослідники фіксували заохочення самопошкодження, насильства й тероризму, поширення небезпечної дезінформації, сексуальні домагання, заохочення до вживання наркотиків і словесні образи. The Wall Street Journal повідомляв, що психіатри дедалі частіше пов'язують психози з використанням чатботів. ChatGPT став об'єктом судових позовів через відповіді, пов'язані з дитячим самогубством і вбивством-самогубством; OpenAI визнавала, що захисні механізми слабшають із тривалістю чату.

Крім контентних обмежень, Китай пропонує щорічні тести й аудити безпеки для сервісів із понад 1 млн зареєстрованих користувачів або більш як 100 тис. щомісячно активних. Подання скарг планують спростити. За порушення правил магазинам застосунків припинятимуть доступ до чатботів у Китаї. За даними Business Research Insights, у 2025 році глобальний ринок ботів-компаньйонів перевищив $360 млрд і може наблизитися до $1 трлн до 2035 року, значною мірою завдяки азійським ринкам. На цьому тлі CEO OpenAI Сем Альтман на початку 2025 року заявляв про готовність працювати з Китаєм і називав це важливим.