Компанія NVIDIA на конференції GTC продемонструвала нову технологію нейронного стиснення текстур (Neural Texture Compression, NTC), яка, за її твердженням, дозволяє скоротити використання відеопам'яті графічних процесорів до 85% без втрати якості зображення. Про це пише Tom's Hardware. Розробка спрямована на оптимізацію роботи сучасних ігор, що стають дедалі складнішими та потребують значних апаратних ресурсів.

NTC замінює традиційні методи блочного стиснення текстур невеликими нейронними мережами, які розпаковують дані безпосередньо під час рендерингу. Це зменшує розмір текстур, полегшує інсталяцію ігор та знижує навантаження на VRAM у процесі виконання. NVIDIA заявляє, що результати виглядають навіть якісніше, забезпечуючи до чотирьох разів вищу роздільну здатність у фінальному рендері.

У демонстрації компанія показала сцену з віллою в Тоскані, яка при стандартному стисненні займала 6,5 ГБ відеопам'яті. Використання NTC скоротило цей показник до 970 МБ, при цьому зображення залишилося ідентичним. Інший приклад - шолом льотчика: початковий обсяг текстур становив 272 МБ, блочне стиснення зменшило його до 98 МБ, а NTC - до 11,37 МБ, що у 24 рази менше за вихідний розмір.

Окрім цього, NVIDIA представила концепцію нейронних матеріалів (Neural Materials). Вона дозволяє нейронній мережі визначати взаємодію світла з матеріалами без використання складних математичних розрахунків BRDF.

Зазвичай GPU рахує взаємодію світла з усіма шарами текстур, тоді як у Neural Materials мережа, натренована на всіх текстурних даних, одразу видає готове затінення пікселя з урахуванням світла і кута. У тестовій сцені це забезпечило до 7,7 разів швидший рендеринг при роздільній здатності 1080p без втрати якості.

Технологія NTC працює завдяки використанню матричних механізмів прискорення, які є окремим апаратним блоком у сучасних GPU - Tensor Cores у NVIDIA, XMX engines в Intel та AI accelerators у AMD - тож базова продуктивність не страждає. Саме ці блоки також використовуються для роботи алгоритмів масштабування зображення, таких як DLSS, FSR та XeSS.

Зазначається, що NTC не є генеративною моделлю й тренується лише на конкретному наборі текстур гри. Завдяки цьому технологія працює як цілеспрямований інструмент стиснення без "галюцинацій" і незапланованих артефактів.

Важливо наголосити, що дана ініціатива не обмежується компанією NVIDIA. Минулого року Microsoft вже стандартизувала таку технологію у DirectX під назвою Cooperative Vectors. Intel та AMD також заявляли про плани використання подібних рішень, що свідчить про загальну тенденцію в індустрії.

Наразі жодна гра ще не підтримує Neural Texture Compression чи Cooperative Vectors від Microsoft, проте очікується, що їхнє впровадження відбудеться найближчим часом.