Nvidia DGX Spark: ИИ-революция или пиар-триумф? Первые отзывы разрывают соцсети

Ну что, друзья, первые отзывы на Nvidia DGX Spark просто взрывают мозг! Оказывается, эта система может переплюнуть все ожидания от локальных ИИ-вычислений.

Представляете — миниатюрная, но адски мощная машинка от Nvidia, внутри у которой суперчип GB10 Grace Blackwell. Он объединяет CPU и GPU ядра, да ещё и даёт 128 ГБ единой памяти! Теперь можно загружать и запускать огромные языковые модели прямо у себя на столе, без всяких облаков.

LMSYS вообще в восторге, назвали DGX Spark «великолепным инженерным решением». По их словам, это идеальный гибрид — удобство обычного десктопа и мощь исследовательской станции. Правда, зашквар для конкурентов?

Видео от DGL.RU

Новый претендент?

В ходе тестирования сайт обнаружил, что Spark эффективно работает с небольшими моделями, демонстрируя «превосходную эффективность пакетной обработки и высокую стабильность пропускной способности».

На сайте также высоко оценили способность мини-ПК запускать такие модели, как Llama 3.1 70B и Gemma 3 27B, напрямую из унифицированной памяти, что редко возможно для такой маленькой рабочей станции.

В обзоре отмечается, что ограниченная пропускная способность памяти Spark LPDDR5X является основным узким местом, из-за чего его производительность ниже, чем у дискретных графических процессоров. Тем не менее обозреватели высоко оценили стабильность работы устройства, его бесшумность и эффективное охлаждение.

LMSYS подытожил: «DGX Spark создан не для того, чтобы заменить облачную инфраструктуру, а для того, чтобы вы могли экспериментировать с ИИ прямо у себя на рабочем месте».

ServeTheHome выразил такой же энтузиазм, но более сдержанно, написав в заголовке: «Машина GB10 чертовски крута».

На сайте отметили, что это миниатюрное устройство «сделает возможным управление большими локальными моделями».

STH сказал, что небольшой размер Spark, практически бесшумная работа и возможность кластеризации с помощью сети 200GbE могут заинтересовать как разработчиков, так и руководителей, экспериментирующих с локальными рабочими процессами в области искусственного интеллекта.

Были выявлены такие проблемы, как незрелые драйверы дисплея и ограниченная пропускная способность, но, несмотря на это, устройство было названо «революционным для разработки локального ИИ».

HotHardware отметил, что «DGX Spark на самом деле не предназначен для замены ПК разработчика, а скорее является его дополнением».

В обзоре подчёркивается удобство использования Nvidia Sync для удалённого подключения с ноутбука или настольного компьютера, а настройка описывается как «очень простая».

В нём говорилось: «DGX Spark также отличается низким уровнем шума и высокой эффективностью. Энергопотребление составляет примерно половину от энергопотребления сопоставимого настольного или потребительского графического процессора».

Подводя итог, сайт пишет: «DGX Spark — это интересный шаг вперёд в мире разработки ИИ. По мере того как компании будут внедрять ИИ, специализированное оборудование, такое как DGX Spark, станет нормой. Если вы хотите начать с основ, то вам сюда».

The Register отметил, что преимущество DGX Spark заключается в мощности, а не в скорости, и что, жертвуя пропускной способностью ради памяти, Spark позволяет выполнять задачи, для которых раньше требовалось несколько высокопроизводительных графических процессоров.

Также было установлено, что совместимость устройства с развитой экосистемой CUDA от Nvidia даёт ему преимущество перед Apple и AMD, которые используют другие программные стеки.

В обзоре упоминаются незначительные аппаратные сбои и ранние программные ограничения, а в заключении звучит предостережение: «Подойдёт ли вам DGX Spark, зависит от нескольких факторов. Если вам нужна небольшая платформа для разработки ИИ с низким энергопотреблением, которая может выполнять двойную функцию — обеспечивать производительность, создавать контент или играть, — то DGX Spark, вероятно, не для вас». Вам лучше инвестировать в что-то вроде AMD Strix Halo или Mac Studio или подождать несколько месяцев, пока Nvidia GB10 Superchip не появится в компьютерах с Windows.

Nvidia DGX Spark и M3 Ultra Mac Studio дают 2,8-кратный прирост производительности в ИИ