Google шокирует: новые процессоры Axion и TPU Ironwood разгоняют ИИ

Сегодня Google Cloud прокачал облако новыми экземплярами с расчетом на ИИ и собственными процессорами Axion и TPU Ironwood. Эти ребята созданы и для обучения и для вывода крупных моделей ИИ с минимальной задержкой.

Главная фишка — возможность масштабировать модели на порядки, используя огромный, по-настоящему масштабируемый мир систем Google на базе Ironwood. Иными словами, теперь крупные ИИ-проекты смогут летать быстрее и работать эффективнее чем когда-либо.

Миллионы TPU Ironwood для обучения и вывода

Ironwood — это тензорный процессор (TPU) седьмого поколения от Google, обеспечивающий производительность 4614 FP8 терафлопс и оснащённый 192 ГБ памяти HBM3E, что даёт пропускную способность до 7,37 ТБ/с. Модули Ironwood масштабируются до 9216 ускорителей ИИ, обеспечивая суммарную производительность 42,5 FP8 экзафлопс для обучения и вывода, что значительно превосходит возможности системы Nvidia GB300 NVL72 по вычислению FP8, составляющие 0,36 экзафлопс.

Модули соединены между собой с помощью фирменной сети Inter-Chip Interconnect со скоростью 9,6 Тбит/с и содержат в общей сложности около 1,77 ПБ памяти HBM3E, что снова превышает возможности конкурирующей платформы Nvidia. Модули Ironwood, основанные на процессорах Axion и тепловых процессорах Ironwood, можно объединять в кластеры, работающие на сотнях тысяч тепловых процессоров, входящих в состав так называемого «гиперкомпьютера искусственного интеллекта». Это интегрированная суперкомпьютерная платформа, объединяющая вычислительные мощности, хранилище и сетевые технологии под единым уровнем управления.

Для повышения надёжности как сверхбольших модулей, так и ИИ-гиперкомпьютера Google использует реконфигурируемую инфраструктуру Optical Circuit Switching (оптическая коммутация цепей), которая мгновенно обходит любые аппаратные сбои, обеспечивая непрерывную работу. По данным IDC, модель гиперкомпьютера с искусственным интеллектом обеспечивает среднюю окупаемость инвестиций в размере 353% за три года, снижение расходов на ИТ на 28% и повышение операционной эффективности на 55% для корпоративных клиентов.

Несколько компаний уже внедряют платформу Ironwood от Google. Anthropic планирует использовать до миллиона TPU для эксплуатации и расширения семейства моделей Claude, ссылаясь на значительное снижение затрат и повышение производительности. Lightricks также начала внедрять Ironwood для обучения и обслуживания своей мультимодальной системы LTX-2.

Процессоры Axion: Google внедряет своё

Хотя ускорители ИИ, такие как Ironwood от Google, обычно получают основное внимание в эпоху вычислений на базе ИИ, центральные процессоры по-прежнему играют ключевую роль в логике приложений, хостинге сервисов и выполнении рабочих нагрузок ИИ, таких как обработка данных. Поэтому наряду с TPU седьмого поколения Google внедряет свои первые универсальные процессоры на базе Armv9 под названием Axion.

Google не опубликовала полные спецификации кристалла для процессоров Axion: нет подтверждённого количества ядер (кроме до 96 vCPU и до 768 ГБ памяти DDR5 для экземпляра C4A Metal), не раскрыты тактовые частоты и отсутствует публично детализированный узел процесса. Известно, что Axion построен на платформе Arm Neoverse v2 и разработан для обеспечения до 50% более высокой производительности и до 60% более высокой энергоэффективности по сравнению с современными процессорами x86, а также на 30% более высокой производительности, чем самые быстрые универсальные экземпляры на базе Arm, доступные сегодня в облаке.

Сообщается, что процессор предлагает 2 МБ частного кэша L2 на ядро, 80 МБ кэша L3, поддерживает память DDR5-5600 MT/s и Uniform Memory Access (UMA) для узлов.

Серверы, работающие на процессорах Axion и Ironwood от Google, оснащены фирменными контроллерами Titanium, которые снимают сетевые нагрузки, задачи безопасности и обработку ввода-вывода с центрального процессора, обеспечивая более эффективное управление и повышенную производительность.

В целом, процессоры Axion могут использоваться как в серверах искусственного интеллекта, так и в серверах общего назначения для решения различных задач. На данный момент Google предлагает три конфигурации Axion: C4A, N4A и C4A Metal.

C4A — это первое и основное предложение в линейке инстансов Google на базе Axion, а также единственное, доступное сегодня. Он обеспечивает до 72 виртуальных ЦП, 576 ГБ памяти DDR5 и сетевое подключение со скоростью 100 Гбит/с в сочетании с локальным SSD-накопителем Titanium объёмом до 6 ТБ. Инстанс оптимизирован для стабильно высокой производительности при работе с различными приложениями.

Следующий экземпляр — N4A, предназначенный для общих рабочих нагрузок, таких как обработка данных, веб-сервисы и среды разработки. Он масштабируется до 64 виртуальных ЦП, 512 ГБ оперативной памяти DDR5 и сети со скоростью 50 Гбит/с, что делает его более доступным вариантом.

Другая предварительная модель — C4A Metal, представляющая собой конфигурацию «bare-metal», которая предоставляет клиентам полный аппаратный стек Axion: до 96 виртуальных процессоров, 768 ГБ памяти DDR5 и сетевые подключения со скоростью 100 Гбит/с. Этот экземпляр предназначен для специализированных или ограниченных лицензией приложений, а также для разработки на базе Arm.

Полный портфель заказных кремниевых изделий

Эти новые продукты стали результатом десятилетней разработки собственных кремниевых процессоров Google, начавшейся с оригинального TPU и продолжившейся в виде VCU YouTube, мобильных процессоров Tensor и инфраструктуры Titanium. Процессор Axion — первый универсальный серверный процессор Google на базе архитектуры Arm — дополняет портфолио собственных чипов компании, а TPU Ironwood открывает дорогу конкуренции с лучшими ускорителями искусственного интеллекта на рынке.

Обзор Sapphire Edge AI 370 — один из самых маленьких и впечатляющих мини-ПК