Google опублікувала наукову статтю, в якій детально розповіла про власний суперкомп'ютер для навчання моделей штучного інтелекту. Компанія зазначила, що її машини значно швидші та енергоефективніші, ніж аналогічні системи від NVIDIA.

Google з 2016 року розробляє та розгортає власний чип для штучного інтелекту під назвою Tensor Processing Unit (TPU). Всередині компанії TPU використовують для більш ніж 90% роботи Google з навчання штучного інтелекту - процесу передачі великого масиву даних мовній моделі, щоб зробити її здатною до таких завдань, як відповіді на запити людським текстом або генерація зображень.

Компанія за допомогою власних спеціально розроблених оптичних перемикачів об'єднала понад 4000 таких чипів у машинах в суперкомп'ютер, на якому протягом 50 днів навчалась модель Google PaLM.

Google каже, що її суперкомп'ютери дозволяють легко змінювати з'єднання між чипами «на ходу», що допомагає швидко розв'язувати проблеми та збільшувати продуктивність.

«Ця гнучкість дозволяє нам навіть змінювати топологію з'єднання суперкомп'ютера, щоб прискорити продуктивність моделі машинного навчання», - написали в блозі про систему співробітник Google Норм Джоуппі та видатний інженер Google Девід Паттерсон.

Хоча Google лише зараз поділилась подробицями про власний суперкомп'ютер, він працює в мережі з 2020 року в центрі обробки даних в окрузі Мейс, штат Оклахома. Компанія каже, що систему використовував стартап Midjourney для власної моделі синтезу зображень на основі текстових підказок.

Чипи Google, як стверджується у статті, у 1,7 раза швидші та в 1,9 раза енергоефективніші, ніж система на основі чипа NVIDIA A100 (який вийшов на ринок у той самий час, що й TPU четвертого покоління), на якому працює ChatGPT від OpenAI. Однак компанія не порівнювала останню версію TPU з нинішнім флагманським NVIDIA H100 - оскільки чип з'явився на ринку трохи пізніше і виготовлявся за новішими технологіями.

Google натякнула, що працює над новим TPU, який конкуруватиме з NVIDIA H100, але не надала жодних подробиць.

У середу були оприлюднені результати та рейтинги загальногалузевого тесту чипів для штучного інтелекту під назвою MLperf, і за словами Дженсена Хуанга, NVIDIA H100 показав значно швидші показники, ніж чип попереднього покоління.

«MLPerf підкреслює, що H100 забезпечує в 4 рази більшу продуктивність, ніж A100. Наступний рівень генеративного штучного інтелекту вимагає нової інфраструктури для навчання великих мовних моделей із високою енергоефективністю», - написав Хуанг в блозі.

Комп'ютери, необхідні для навчання ШІ, коштують дуже дорого, тож чимало представників галузі зосередились на розробці нових чипів, оптичних з'єднань чи програмних технологій, які зменшать необхідний рівень потужності. А поки цією перевагою користуються такі хмарні провайдери, як Google, Microsoft і Amazon, в яких стартапи можуть орендувати послуги з комп'ютерної обробки.