НаверхВсё не так с железом для ИИ. Новая технология вычислений «со скоростью света» — приговор для видеокарт
Ученые представили революционную оптическую систему, которая решает главную проблему нейросетей и делает тысячи дорогих GPU попросту ненужными. Звучит слишком хорошо, чтобы быть правдой?
Основные идеи
Мнение автора
Все уперлось в масштабирование GPU, а эта технология предлагает элегантный обходной путь. Она меняет правила игры: вместо наращивания числа дорогих видеокарт фокус смещается на принципиально новую архитектуру. Это не эволюция, а настоящая революция в железе для ИИ.
Ученые представили фундаментальную архитектуру для оптических вычислений нового поколения. В ней для питания чипов используется свет, а не электричество. Эта технология может полностью перевернуть то, как мы обучаем и используем модели искусственного интеллекта.
В основе больших языковых моделей (LLM) и систем глубокого обучения лежит структура для организации взвешенных данных, которая называется «тензор». Ее можно представить как картотеку со стикерами, которые показывают, какие ящики используются чаще всего.
Когда ИИ-модель обучается выполнять задачу, например, распознавать изображение или предсказывать текст, она сортирует данные по этим тензорам. В современных системах ИИ скорость, с которой модель обрабатывает тензорные данные, и есть фундаментальное ограничение производительности. Этот параметр устанавливает жесткий предел тому, насколько большой может стать модель.
В обычных световых вычислениях модели анализируют тензоры, когда многократно запускают лазерные решетки. Это похоже на работу сканера, который считывает штрих-код на посылке, чтобы определить ее содержимое. Только в данном случае каждый «контейнер» — это ссылка на математическую задачу. Объем вычислительной мощности, который нужен для решения этих задач, напрямую зависит от возможностей самой модели.
Хотя световые вычисления быстрее и энергоэффективнее в малых масштабах, большинство оптических систем не могут работать параллельно. Их нельзя, как графические процессоры (GPU), объединить в кластер, чтобы экспоненциально увеличить доступную мощность. Световые системы обычно работают линейно. Из-за этого разработчики чаще всего игнорировали оптические вычисления и отдавали предпочтение GPU, которые отлично масштабируются.
Именно это ограничение масштабирования и является причиной, почему для обучения и работы самых мощных моделей от OpenAI, Anthropic, Google и xAI требуются тысячи графических процессоров, которые работают в связке.
Новая архитектура под названием Parallel Optical Matrix-Matrix Multiplication (POMMM) может решить проблему, которая тормозила развитие оптических вычислений. В отличие от предыдущих оптических методов, она проводит множество тензорных операций одновременно, причем для этого нужен всего один лазерный импульс.
В итоге мы получаем foundational AI hardware design, которая потенциально позволяет масштабировать скорость обработки тензоров в любой ИИ-системе. Она превосходит возможности самого современного электронного оборудования и при этом значительно снижает его энергопотребление.
Оптические вычисления нового поколения и железо для ИИ
Результаты экспериментального прототипа и серию сравнительных тестов со стандартными оптическими и GPU-системами опубликовали в одном из научных журналов.
Ученые использовали особую компоновку стандартных оптических компонентов вместе с новым методом кодирования и обработки. Это позволило им захватывать и анализировать тензорные «пакеты» за один выстрел лазера.
Им удалось закодировать цифровые данные в амплитуду и фазу световых волн, превратив данные в физические свойства оптического поля. Эти световые волны объединяются и выполняют математические операции, например, умножение матриц или тензоров.
Такие оптические операции не требуют дополнительной энергии для обработки, поскольку они происходят пассивно, пока свет распространяется. Это устраняет необходимость в управлении или переключении во время обработки, а также в энергии, которая нужна для выполнения этих функций.
«Этот подход можно реализовать почти на любой оптической платформе, — заявил руководитель исследования. — В будущем мы планируем интегрировать эту вычислительную структуру прямо в фотонные чипы. Это позволит световым процессорам выполнять сложные задачи ИИ с чрезвычайно низким энергопотреблением».
По оценкам, технологию смогут интегрировать в крупные ИИ-платформы в течение трех-пяти лет.
Ускоритель для общего искусственного интеллекта
Представители команды назвали это шагом к созданию общего искусственного интеллекта (AGI) нового поколения. Так называют гипотетическую ИИ-систему будущего, которая будет умнее людей и сможет обучаться в разных областях независимо от исходных данных.
«Это создаст новое поколение оптических вычислительных систем, которые значительно ускорят решение сложных задач ИИ в самых разных областях», — добавил один из авторов. Хотя в самой статье AGI напрямую не упоминается, термин «вычисления общего назначения» встречается несколько раз.
Идея о том, что масштабирование текущих методов разработки ИИ является надежным путем к достижению AGI, настолько распространена в некоторых кругах компьютерных наук, что в продаже даже есть футболки с надписью «масштабирование — это все, что нужно».
Другие ученые с этим не согласны. Например, главный научный сотрудник по ИИ в Meta (признана экстремистской организацией и запрещённой на территории РФ), считает, что LLM — нынешний золотой стандарт архитектуры ИИ — никогда не достигнут уровня AGI, независимо от того, насколько глубоко и широко их будут масштабировать.
С появлением POMMM ученые, похоже, нашли недостающий элемент в аппаратной головоломке. Технология может устранить одно из самых больших ограничений в отрасли и позволит разработчикам выйти далеко за пределы фундаментальных лимитов современных систем.
Искусственный интеллект – искусственный пузырь? Экономист бьёт тревогу: крах неизбежен
