Лидер производства датчиков изображений компания Sony предчувствует насыщение этой продукцией главного потребителя - рынка смартфонов. Компании нужны новые направления для сбыта датчиков. Этим направлением может стать рынок умных вещей с функциями эффективного отслеживания людей и объектов.

По мнению Sony, развитие сферы Интернета вещей упирается в ряд ограничений: это высокие задержки при обращении к облаку (которые только будут расти); предпосылки для нарушения приватности (плохо контролируемый рост утечек из облака); и увеличение энергопотребления (на канал связи и удалённые ресурсы). Всего этого можно избежать или значительно ослабить влияние этих факторов, если в каждый датчик изображения встроить свой ИИ. Тогда данные будут обрабатываться в режиме реального времени прямо в датчике без обращения к облаку.

Первой продукцией Sony в области датчиков изображений с ИИ стал 12,3-Мп сенсор IMX500, опытные поставки которого начались в апреле. Цена вопроса 10 тыс. иен ($93). Это стоимость сборки без упаковки. В корпусе чип будет предлагаться в виде микросхемы IMX501 по 20 тыс. иен ($186). Разницу между одним и другим исполнением можно увидеть на фото выше.

IMX500 состоит из собранных в стек двух кристаллов. Верхний кристалл - это датчик изображения диагональю 7,857 мм (в формате 1/1,23), а нижний - это чип с памятью, блоком ИИ и цифровым сигнальным процессором. Данные с датчика изображения попиксельно передаются на нижний чип и полностью на нём обрабатываются.

Обработка ведётся в зависимости от записанной в память чипа модели для машинного обучения, а также по заранее определённому алгоритму. Это может быть подсчёт количества людей в кадре, определение поведения людей в кадре (анализ поз и жестов), анализ скопления людей с помощью инфракрасного сканирования, слежение за товарами на полках магазинов, определение момента засыпания водителя, реакция на конкретного человека и многое другое.

Модели обучения и алгоритмы могут быть переписаны по необходимости. Например, можно распределять обязанности даже между одинаковыми камерами наблюдения. Одна на входе подсчитывает посетителей, другая наблюдает за тем, что граждане делают в магазине, третья следит, чтобы на полках всегда был товар и так далее. Что во всём этом важно, данные остаются локально в датчике, а это обеспечивает приватность и защиту от утечек. Наружу для анализа выводятся метаданные - короткие текстовые (семантические) сообщения с выводами или графиками после анализа встроенным ИИ. Эти данные не перегрузят каналы связи и не нагрузят облачные ресурсы. Впрочем, датчик позволяет также передавать обычные изображения и распознанные образы.

Обработка данных в кадре встроенным ИИ проводится мгновенно. Например, с использованием свёрточной нейросети MobileNet V1.2 данные в кадре обрабатываются за 3,1 мс. Предложенная Sony система способна с высокой эффективностью следить за подвижными объектами в режиме реального времени. Вот оно будущее.