Убийца Nvidia H100? Корейский стартап показал ИИ-сервер, который работает так же быстро, но почти не греется

Коротко о главном

• Новый сервер RNGD от FuriosaAI обеспечивает производительность в 4 петафлопс при 3 кВт для эффективного ИИ.
• Предприятия смогут масштабировать рабочие нагрузки ИИ без дорогостоящих изменений инфраструктуры.
• Сервер RNGD обеспечивает совместимость с API OpenAI наряду с растущим набором функций SDK.

Южнокорейский стартап по производству чипов FuriosaAI, который, как известно, отказался от предложения Meta (признана экстремистской организацией и запрещена на территории РФ) о покупке за 800 миллионов долларов (≈ 66,3 млрд. руб.), продолжает выпускать новые продукты на фоне растущего спроса на эффективную инфраструктуру для ИИ.

Стартап стремится предоставить предприятиям аппаратное обеспечение, которое может запускать большие языковые модели (LLM) без дорогостоящих модернизаций центров обработки данных и высоких затрат на электроэнергию, часто связанных с использованием графических процессоров (GPU).

Его последний продукт, RNGD Server, представляет собой готовое к использованию в корпоративной среде ИИ-устройство, работающее на чипах для инференса ИИ RNGD (произносится как «Renegade») от FuriosaAI.

Видео от DGL.RU

Более эффективное масштабирование

Каждая система обеспечивает производительность в 4 петафлопса при вычислениях FP8 и 384 ГБ памяти HBM3, потребляя при этом всего 3 кВт.

Для сравнения, серверы DGX H100 от Nvidia могут потреблять более 10 кВт. Это означает, что стандартная стойка центра обработки данных мощностью 15 кВт может вместить пять серверов RNGD, в то время как та же стойка вместила бы только один DGX H100.

FuriosaAI заявляет, что, поскольку большинство центров обработки данных ограничены мощностью 8 кВт на стойку или меньше, их разработка решает ключевую проблему для бизнеса.

Продвинутые модели ИИ, работающие в таких средах, обычно требуют новых систем охлаждения и электропитания.

Компания утверждает, что, внедрив RNGD Server, предприятия смогут более эффективно масштабироваться, сохраняя при этом совместимость с API OpenAI.

Стартап недавно закрыл промежуточный раунд финансирования серии C на сумму 125 миллионов долларов (≈ 10,36 млрд. руб.) и расширил свое партнерство с LG AI Research.

LG использует аппаратное обеспечение RNGD для запуска своих моделей EXAONE и заявляет, что получает более чем в два раза большую производительность инференса на ватт по сравнению с GPU.

FuriosaAI также недавно сотрудничала с OpenAI, в рамках которого две компании продемонстрировали работу чат-бота gpt-oss 120B с открытым исходным кодом в режиме реального времени всего на двух ускорителях RNGD от FuriosaAI.

Новый сервер RNGD будет получать постоянные обновления для SDK FuriosaAI, в который недавно были добавлены тензорный параллелизм между чипами, новые оптимизации компилятора и расширенные форматы квантования.

В настоящее время RNGD Server предоставляется для тестирования глобальным клиентам и, как ожидается, будет доступен для заказа в начале 2026 года.

Исследование OpenAI: как люди общаются с ChatGPT — результаты шокируют!