Ілон Маск зіткнувся з серйозною проблемою у використанні власних обчислювальних потужностей. Компанія xAI, яка розробляє штучний інтелект Grok, виявила, що її масштабна інфраструктура працює значно менш ефективно, ніж очікувалося.

Для навчання моделі було розгорнуто близько 550 тисяч графічних прискорювачів Nvidia серій H100 та H200 у кластерах Memphis і Colossus. Проте реальне завантаження цих ресурсів становить лише 11%, що означає простою більш ніж 440 тисяч GPU.

Проблема не полягає у відсутності обладнання, а в складностях управління такою великою системою. Навіть невеликі затримки при передачі даних між етапами навчання призводять до накопичення вузьких місць, які різко знижують продуктивність.

Експерти пояснюють це недостатньою зрілістю програмної архітектури xAI. Графічні процесори часто чекають на дані або нові завдання, замість того щоб працювати на повну потужність, що є типовою проблемою для всієї індустрії штучного інтелекту.

Для порівняння, такі гіганти як Meta та Google демонструють кращі результати з завантаженням 43% та 46% відповідно. У xAI орієнтуються на досягнення показника близько 50%, але точні терміни вирішення цієї проблеми поки що не називаються.