Стара серверна відеокарта за 235 доларів обігнала сучасну модель у запуску локальних штучних інтелектів. Ентузіаст зібрав потужний стенд на базі Nvidia Tesla V100, який не лише швидше генерує тексти, а й споживає менше енергії. Цей експеримент доводить, що застаріле залізо може бути ефективнішим за нові рішення в певних задачах.

У центрі збірки — графічний процесор Nvidia Tesla V100 у форм-факторі SXM2, який вийшов у 2017 році. Зазвичай такі карти коштують тисячі доларів і встановлюються лише у великих дата-центрах. Щоб використати їх вдома, автор придбав спеціальний адаптер за 100 доларів, що перетворює професійний роз'єм на звичний PCIe x16 слот.

Охолодження для серверної карти потрібно було створити самостійно, оскільки вона не має власних вентиляторів. На 3D-принтері було надруковано захисний кожух, кріплення для двох 80-мм вентиляторів, а все це трималося на звичайних zip-стяжках. Попри примітивне кріплення, система працювала стабільно без перегріву.

Під час тестів локальних мовних моделей V100 генерувала 108 токенів за секунду, тоді як сучасна RTX 3060 з 12 ГБ пам'яті — лише 76. Більш того, загальне енергоспоживання системи з V100 склало 293 вати проти 235 ват у випадку з новішою відеокартою.

Найцікавішим виявився розрахунок ефективності: старша карта видає 0,37 токена на ват, тоді як RTX 3060 — 0,33. Навіть при штучному обмеженні потужності до 100 ват V100 працювала швидше, ніж конкурент, що свідчить про її перевагу в роботі під навантаженням.

Такий підхід дозволяє використовувати старі серверні компоненти для домашніх проектів, таких як запуск локальних ШІ чи відеоспостереження. Хоча споживання в режимі очікування трохи вище, загальна продуктивність робить цю збірку привабливою для любителів технологій.

Цей експеримент повертає надію, що професійне обладнання стане доступнішим для звичайних користувачів. Зібрати робочу станцію за 235 доларів, яка перевершує сучасні рішення, — це реальність для тих, хто готовий трохи поекспериментувати.