На заході GTC March 2024 Keynote NVIDIA представила архітектуру чипів Blackwell та графічні процесори B200 на її основі. Нові GPU з можливостями штучного інтелекту замінять замінили H100 та H200 в центрах обробки даних. Чипи Grace Blackwell GB200 поєднають архітектуру Grace з Blackwell.

Графічний процесор B200 містить 208 мільярдів транзисторів (проти 80 мільярдів на H100/H200). Він забезпечує 20 петафлопс продуктивності ШІ від одного GPU - один H100 мав максимум 4 петафлопсу обчисленнях ШІ. Чипи отримають 192 ГБ пам'яті HBM3e, яка забезпечує пропускну здатність до 8 ТБ/с.

Blackwell B200 не є єдиним GPU у традиційному розумінні. Він складається з двох щільно з'єднаних кристалів, які функціонують як один уніфікований графічний процесор CUDA. Два чипи з'єднані інтерфейсом NV-HBI (NVIDIA High Bandwidth Interface) зі швидкістю 10 ТБ/с.

Blackwell B200 виконаний за техпроцесом TSMC 4NP, удосконаленим 4N, котрий використовувався в Hopper H100 та Ada Lovelace. Техпроцес не пропонує значного покращення щільності, тож для приросту обчислювальної потужності знадобився спосіб зробити чип більшим, що може пояснити поєднання.

Кожен кристал має чотири стеки HMB3e по 24 ГБ кожен із пропускною здатністю по 1 ТБ/с на 1024-бітному інтерфейсі. Для порівняння, H100 мав шість стеків HBM3 по 16 ГБ. Показника 20 петафлопс Blackwell B200 досягає за допомогою нового формату чисел FP4 із подвійною пропускною здатністю, ніж у форматі FP8 Hopper H100.

Варіанти чипів NVIDIA Blackwel

Найбільшим та найшвидшим рішенням буде суперчип GB200, який складається з двох GPU B200. Цей «монстр» має настроюваний TDP до 2700 Вт - для двох чипів (поєднаних чотирьох GPU) плюс один процесор Grace. Значення до 20 петафлопс FP4 для одного B200 - взяті для половинки суперчипа GB200. не вказано, яким є TDP для одного графічного процесора B200.

Ще одним варіантом Blackwell є HGX B200, який базується на використанні восьми графічних процесорів B200 із процесором x86 в одному серверному вузлі. Вони налаштовані на 1000 Вт на один B200, а графічні процесори забезпечують до 18 петафлопс пропускної здатності FP4 - на 10% повільніше, ніж в GB200.

Ще буде чип HGX B100. та ж сама основна конструкція, що й у HGX B200, із процесором x86 та вісьмома графічними процесорами B100, але він розроблений для сумісності з наявною інфраструктурою HGX H100 та забезпечує найшвидше розгортання. TDP на графічний процесор обмежений 700 Вт, як і в H100, а пропускна здатність падає до 14 петафлопс FP4 на GPU. На всіх трьох цих конфігураціях HBM3e має однакову пропускну здатність 8 ТБ/с на GPU.

NVIDIA NVLINK 7.2T

Для зв'язку між багатьма вузлами NVIDIA представляє п'яте покоління чипів NVLink та NVLink Switch 7.2T. Новий чіп NVSwitch має двонапрямну смугу пропускання 1,8 ТБ/с. Це чип з 50 млрд транзисторів, теж виготовлений на техпроцесі TSMC 4NP.

З'єднувальний процесор майже сягає розміру Hopper H100, що демонструє, наскільки важливим стало з'єднання після приросту обчислювальної потужності та швидкості даних. Попереднє покоління підтримувало лише до 100 ГБ/с пропускної здатності. Новий NVSwitch забезпечує 18-кратне прискорення в порівнянні з багатовузловим з'єднанням H100.

Кожен графічний процесор Blackwell оснащений 18 з'єднаннями NVLink п'ятого покоління. Це у вісімнадцять разів більше, ніж було доступно для H100. Кожне з'єднання пропонує 50 ГБ/с двонапрямної смуги пропускання, або 100 ГБ/с на з'єднання. З такою швидкістю можна говорити, що це дозволяє великим групам вузлів GPU функціонувати так, ніби вони є лише одним масивним GPU.

NVIDIA B200 NVL72

Нові чипи з новим інтерфейсом об'єднуються у сервери NVIDIA B200 NVL72. По суті, це повноцінне стійкове рішення з 18 серверами 1U, кожен з яких має два суперчіпи GB200. Два GPU B200 йдуть у парі з одним CPU Grace, тоді як технологія GH100 використовувала менше рішення - один CPU Grace поруч з одним GPU H100.

Кожен обчислювальний вузол у GB200 NVL72 має два суперчипи GB200, тож один лоток містить два процесори Grace та чотири графічні процесори B200 із продуктивністю 80 петафлопс FP4 AI та 40 петафлопс FP8 AI. Це сервери 1U з рідинним охолодженням, які займають значну частину стандартних 42 одиниць простору в стійці.

Окрім обчислювальних панелей суперчипів GB200, GB200 NVL72 також матиме панелі комутаторів NVLink. Це також лотки 1U з рідинним охолодженням, з двома перемикачами NVLink на лоток та дев'ятьма такими лотками на стійку. Кожен лоток забезпечує 14,4 ТБ/с загальної пропускної здатності.

Загалом GB200 NVL72 має 36 процесорів Grace та 72 графічних процесори Blackwell із 720 петафлопсами FP8 і 1440 петафлопсами FP4. З наявними 130 ТБ/с багатовузлової пропускної здатності NVL72 може обробляти до 27 трильйонів параметрів мовних моделей ШІ. Решта стійки призначені для мереж та інших елементів центру обробки даних.

Також представлені суперкомп'ютери SuperPOD, які поєднують багато GB200. Зараз NVLink підтримують до 576 доменів GPU, нові DGX SuperPOD масштабуються саме до такої кількості графічних процесорів GB200 Blackwell. Кожен SuperPOD може вмістити до восьми систем GB200 NVL72, що відповідає 288 процесорам Grace і 576 графічним процесорам B200.