Мы живем в уникальное время в истории человечества, когда искусственный интеллект затрагивает большой спектр вопросов в нашей жизни. Но что если мы на самом деле не знаем, как именно машины принимают решения? Что это значит для человека?

Представьте, что вам отказали в медицинской страховке. А когда вы спрашиваете почему, компания переводит стрелки на свой алгоритм оценки рисков.

Или вы ждете одобрения банка по ипотеке, но вам отказывают, а объяснить причину не могут.

Или представьте, если говорить о более серьезных вещах, что полиция станет задерживать людей по подозрению в подготовке преступления, основываясь лишь на предсказаниях алгоритма.

Искусственный интеллект (ИИ) сейчас внедряют во многие сферы нашей жизни, в том числе в медицинские исследования, в процесс определения диагнозов или приговоров. Алгоритмы машинного обучения управляют автономными автомобилями, обеспечивают национальные системы наблюдения, а также военные системы наводки.

Как говорится в недавнем докладе консалтинговой фирмы PwC, глобальная экономика вырастет на 15,7 трлн долл. к 2030 году благодаря одному лишь ИИ.

Но какой ценой? Алгоритмы глубокого обучения становятся настолько сложными, что даже их создатели не всегда знают, как именно они приходит к тому или иному решению.

Нейросети работают благодаря множеству соединенных между собой "нейронов", которые пропускают через себя огромные объемы информации и выделяют модели среди множества переменных, используя алгоритмы машинного обучения. И, самое главное, они адаптируются в ответ на то, что узнали.

Все это делает уже доступные нам сервисы лучше, начиная с более точных прогнозов погоды и заканчивая усовершенствованными методами определения стадий рака.

Однако Роди Дейвис, директор по вопросам политики и программ Фонда помощи благотворительным организациям (Charities Aid Foundation), считает, что когда такие системы используются в системах доступа, например, к коммунальным услугам или подсчетам голосов, это порождает трудности.

Дэвид Штерн, менеджер по количественным исследованиям в технологической компании G-Research, которая использует машинное обучение для того, чтобы предсказывать цены на финансовых рынках, предостерегает, что молниеносный прогресс в исследованиях ИИ в последние годы связан был прежде всего с так называемыми методами черного ящика.

"Процесс обучения в этом крайне популярном сейчас подходе определяет настройки миллионов внутренних параметров, которые взаимодействуют сложными способами и которые очень трудно переписать и объяснить".

Другой тренд в роботизации - это глубокое обучение с подкреплением.

В его случае разработчик просто определяет поведенческие цели системы, а она автоматически учится, непосредственно взаимодействуя в окружающей средой, объясняет Штерн.

"Это порождает систему, разобраться в которой становится еще труднее", - говорит он.

Специалисты пытаются разработать методы понимания и контроля этих алгоритмы. Например, Управление перспективных исследовательских проектов Министерства обороны США ведет проект Explainable AI ("Объяснимый ИИ").

А некоммерческая исследовательская компания OpenAI разрабатывает "путь к общему безопасному искусственному интеллекту".

Это звучит вполне разумно, но одно из преимуществ ИИ как раз в том, что он может делать то, чего не может человеческий мозг. И с этой точки зрения благодаря подобным проектам мы рискуем застопорить развитие ИИ.

Адриан Веллер, программный директор по искусственному интеллекту в Институте Алана Тьюринга, предполагает, что знание того, как именно работает ИИ, нужно только в случае, если он принимает критически важные решения. Другие соображения могут быть важнее прозрачности программы.

"Если бы мы могли быть уверены в том, что система работает надежно и безопасно и в ней исключена дискриминация! В некоторых случаях эти вопросы важнее, чем то, понимаем ли мы суть функционирования системы", - говорит он.

Что касается беспилотных машин или медицинских диагнозов: если автомобиль будет более безопасным и сможет спасать людям жизни, это будет гораздо важнее, чем то, как именно он работает, говорит Веллер.

"Говоря о медицинских диагнозах, если система точна в среднем в 95% случаев, это хорошая новость, - утверждает ученый. - Хотя я все равно хотел бы знать, насколько она точна по отношению лично ко мне, и ее прозрачность мне бы в этом помогла".

"Но если бы у нас был какой-то другой способ быть уверенными, что алгоритм действительно точен в моем случае, тогда я бы меньше беспокоиться о его интерпретируемости", - добавляет Веллер.

Но в случаях, когда ИИ выносит приговор и определяет то, сколько человеку сидеть в тюрьме, важно иметь представление о процессе принятия решений, замечает Веллер.

"Если алгоритм рекомендовал заточить меня на шесть лет, я бы хотел получить этому объяснение, понять, насколько приемлемому процессу следовал ИИ, и иметь возможность оспорить его решение, если я с ним не согласен", - замечает он.

"Я согласен с мнением, что мы должны требовать от компаний разъяснять действия алгоритма, особенно когда у нас есть подозрение, что за ним стоит человек", - говорит Веллер.

Без этих гарантий есть риск, что люди могут подвергнуться дискриминации, не зная почему, и окажутся на обочине.