Небувала потужність. Суперкомп’ютер NVIDIA побив рекорд у швидкості навчання ШІ

Суперкомп’ютер NVIDIA показав небувалий результат (Фото:Tyrone Siu / Reuters)

Цього тижня NVIDIA представила нову версію свого суперкомп’ютера Eos, яка здатна навчити модель штучного інтелекту GPT-3 зі 175 мільярдами параметрів менш як за чотири хвилини.

Під час останнього тесту суперкомп’ютер Eos виконав завдання з імітації навчання цієї ШІ-моделі GPT-3 менш як за 4 хвилини. Під час минулого тестування, що відбулося у червні, на те саме тестування пішло майже 11 хвилин.

Більша версія мовної моделі GPT-3, яка використовує глибоке навчання, аби генерувати текст, подібний до написаного людиною, має 3,7 трильйона параметрів і є завеликою для порівняльних тестів. Але Eos впоралася б з нею лише за вісім днів, тоді як іншим системам потрібні місяці, пише Engadget.

Загалом NVIDIA встановила шість рекордів у дев’яти тестах: 3,9 хвилини для навчання GPT-3, 2,5 хвилини для навчання Stable Diffusion (з використанням 1024 графічних процесорів Hopper), хвилина для навчання моделі DLRM, 55,2 секунди для RetinaNet, 46 секунд для 3D U-Net. А для навчання BERT-Large потрібно лише 7,2 секунди.

Eos має величезний обчислювальний обсяг, який забезпечують 10 752 графічних процесора, об’єднані мережею Infiniband, що переміщує петабайт даних за секунду, та 860 терабайтами пам’яті з високою пропускною здатністю (36 ПБ/с загальна пропускна здатність і 1,1 ПБ/с при з’єднанні).

Компанії вдалося досягнути 2,8-кратного збільшення продуктивності не тільки завдяки значному посиленню «заліза» (у попередньому тесті використали 3584 графічних процесори Hopper), а й завдяки оптимізації програмного забезпечення.

NVIDIA планує застосувати ці розширені обчислювальні можливості для різноманітних завдань, включаючи поточну роботу компанії над розробками моделей з підтримкою штучного інтелекту та систем автономного водіння.

Напередодні команда Microsoft Azure представила аналогічну систему і досягла під час тестів результатів, які на два відсотки поступаються NVIDIA.