НаверхHuawei обещает ИИ‑чип в 1000 раз быстрее Nvidia благодаря Flex:ai
Новое ПО с открытым исходным кодом объединяет GPU и нейронные процессоры, повышая эффективность и среднюю загрузку на 30%, что может перевернуть рынок ИИ.
Основные идеи
Мнение автора
Если технология сработает, это повысит эффективность вычислительных кластеров примерно на треть, что для крупных дата-центров просто космос. При этом открытый исходный код и совместимость с разнородным оборудованием дают Huawei шанс продвинуться не только на внутреннем, но и на международном рынке ИИ-решений.
Huawei представила Flex:ai — инструмент с открытым исходным кодом, который поможет эффективнее использовать ИИ-чипы в больших вычислительных кластерах. Платформу анонсировали 21 ноября. Она основана на Kubernetes, а её выпуском займётся сообщество разработчиков Huawei ModelEngine.
Этот шаг — ответ на американские ограничения по экспорту мощных графических процессоров. В Китае всё чаще пытаются повысить эффективность программного обеспечения, чтобы временно компенсировать нехватку кремниевых компонентов.
Huawei не только помогает в создании аналогового ИИ-чипа, который будет в 1000 раз быстрее чипов Nvidia, но и предлагает Flex:ai. Этот инструмент способен повысить среднюю загрузку примерно на 30%. Он делит отдельные графические (GPU) или нейропроцессоры (NPU) на несколько виртуальных вычислительных единиц и распределяет рабочие нагрузки между разным оборудованием.
Небольшие задачи, которые не могут полностью загрузить весь ускоритель, размещаются рядом друг с другом. Более крупные задачи, которые превышают возможности одного устройства, могут использовать сразу несколько карт.
Инструмент включает в себя интеллектуальный планировщик Hi Scheduler. Он в реальном времени перераспределяет простаивающие ресурсы между узлами и автоматически направляет вычислительные мощности туда, где есть очередь из ИИ-задач.
Архитектура Flex:ai основана на существующих платформах Kubernetes с открытым исходным кодом, но расширяет их так, как это пока редко встречается в открытых развёртываниях. Kubernetes уже поддерживает плагины для доступа к ускорителям и планировщикам, например Volcano, а фреймворки вроде Ray могут выполнять дробное распределение и групповое планирование. Flex:ai, по-видимому, объединяет эти возможности на более высоком уровне и интегрирует поддержку Ascend NPU наряду со стандартным графическим оборудованием.
Запуск напоминает функционал Run:ai — платформы, которую Nvidia приобрела в 2024 году. Она тоже обеспечивает многопользовательское планирование и приоритетное распределение нагрузки в крупных кластерах графических процессоров.
Версия от Huawei, по крайней мере на бумаге, заявляет о похожих характеристиках. Но она делает упор на открытый исходный код и совместимость с различными ускорителями. Это может обеспечить ей более широкое применение в кластерах, построенных на китайских чипах, особенно тех, которые используют чипы Ascend.
Открытый исходный код ещё не выпущен, и Huawei не опубликовала документацию или результаты тестов. Когда он станет доступен, ключевыми вопросами станут детализация разделения ресурсов, взаимодействие Flex:ai со стандартными планировщиками Kubernetes и, что особенно важно, поддержка распространённых типов графических процессоров через стандартные плагины. Компания заявила, что в разработке инструмента приняли участие исследователи из Шанхайского университета Цзяотун, Сианьского университета Цзяотун и Сямэньского университета.
