Впровадження великих мовних моделей, таких як Stable Diffusion, у смартфони - це наступний крок у поширенні генеративних інструментів на ширшу аудиторію.

Зазвичай для запуску таких генеративних нейромереж потрібно багато обчислювальної потужності, і більшість програм, що пропонують такі послуги на мобільних пристроях, виконують обробку в хмарі. Однак Qualcomm довела, що її версія Stable Diffusion може з легкістю зробити це на смартфоні.

Qualcomm показала Stable Diffusion версії 1.5, що згенерувала зображення розміром 512 x 512 пікселів за 15 секунд. Для порівняння: генерація зображень на пристойному ноутбуці займе кілька хвилин, тому такий результат з телефону вражає.

Не повідомляється, який саме смартфон використали для демонстрації - але він оснащений флагманським чипсетом Snapdragon 8 Gen 2 (який був випущений у листопаді минулого року і має процесор Hexagon, орієнтований на ШI). Інженери компанії також виконали різні оптимізації ПЗ, щоб забезпечити оптимальну роботу програми.

Насправді інші експериментатори вже пробували запустити Stable Diffusion на Android. Розробник Айвон Хуанг розповідав у блозі про запуск генеративної нейромережі на Sony Xperia 5 II з процесором Qualcomm Snapdragon 865 та 8 ГБ оперативної пам'яті. Хоча, як зазначив Хуанг, створення зображення 512 x 512 з цим налаштуванням зайняло годину.

Apple ще в грудні випустила оптимізації, необхідні для локального запуску Stable Diffusion на її власній платформі машинного навчання Core ML. Журналісти The Verge спробували запустили Stable Diffusion 1.5 на iPhone 13 через програму Draw Things з прискоренням Core ML. З цим налаштуванням створення зображення розміром 512 x 512 зайняло близько хвилини.

Тож в обох випадках Qualcomm виграє у швидкості, але має певні обмеження - новітнє обладнання та пакет оптимізації, який не є загальнодоступним.

Робота великих ШІ-моделей на мобільних пристроях дає безліч переваг, порівняно з використанням хмарних обчислень: це зручність (не потрібне мобільне з'єднання), вартість (розробники не стягуватимуть плату з користувачів, коли настає термін оплати за сервер) та конфіденційність (ви не надсилаєте дані на чужий комп'ютер).