Агенты ИИ уже создают катастрофы — угроза ближе, чем кажется

Эксперименты с ИИ-агентами уже заканчиваются катастрофами. Но проблемы нулевого дня касаются именно управления. При все при этом синдром FOMO заставит бизнес снова работать с агентами в следующем году.

ИИ сегодня крайне популярен, но в сфере корпоративных вычислений попытки создать и внедрить эту технологию часто проваливаются. Чтобы понять причины и предотвратить сбои, нужно тщательно все спланировать. Некоторые называют этот процесс «обдумыванием нулевого дня».

Директор по продуктам компании Rubrik Аннека Гупта отметила, что от имени пользователя могут действовать сотни ИИ-агентов. Они неизбежно будут совершать ошибки. Гупта добавила, что внутренние комитеты по управлению ИИ часто становятся местом, где проекты рушатся или встречают серьезные преграды на пути от прототипа к релизу. Это первое испытание, которое нужно преодолеть.

Гупта привела в пример недавние громкие провалы технологий агентного ИИ. В июле инструмент для написания кода Replit удалил всю базу данных компании. История Replit стала примером автоматизации с «благими намерениями». Система пыталась написать код для пользователя, но в итоге удалила все данные.

Гупта объяснила, что бот пытался достичь цели и выбрал для этого кратчайший путь. Ведь именно на это программируют агентов. Replit и другие разработчики обещают устранить неполадки. Однако Гупта уверена, что с ростом числа агентов в организациях подобные инциденты, вызванные благими намерениями, будут происходить все чаще.

Компания Rubrik создает инструменты, которые смягчают последствия таких сбоев. Она работает на рынке защиты данных уже двенадцать лет и предлагает решения, которые позволяют откатить системы к последнему рабочему состоянию после атак программ-вымогателей.

В августе компания представила новый продукт Agent Rewind. Он проверяет изменения, которые вносят агенты, оценивает их корректность и отменяет ошибочные действия.

Проблема нулевого дня

Гупта говорила не только о презентации продукта. По ее словам, исправление последствий — это не главная проблема. Агентный ИИ не развивается должным образом из-за уязвимостей нулевого дня.

Эксперт назвала Agent Rewind решением проблемы второго дня. Главный вопрос в том, как устранить трудности нулевого дня. Сейчас люди зашли в тупик, и им нужно двигаться быстрее.

Термин «угроза нулевого дня» обычно используют специалисты по кибербезопасности. Они обозначают им уязвимости, которые становятся очевидными только после запуска приложения. Профильные фирмы предупреждают, что бизнес не готов к хаосу, который может устроить вредоносный агентный ИИ.

Однако Гупта вкладывает в этот термин другой смысл. Она обозначает им все обсуждения, которые нужно провести еще до создания каких-либо ИИ-агентов. Настоящая проблема развертывания заключается в подготовительной работе. Директора по информационной безопасности, ИТ-директора и другие руководители высшего звена должны определить сферу применения технологии.

ИИ-агенты — это программы, которые получили доступ к ресурсам за пределами большой языковой модели. Это позволяет им выполнять более широкий спектр действий.

Сюда можно отнести чат-ботов вроде ChatGPT, которые подключаются к корпоративной базе данных. Для этого используют метод генерации ответов на основе найденной информации или RAG. Гупта подчеркнула, что качество и доступность данных важны для создания агентов, но это не относится к проблеме нулевого дня.

По ее словам, люди часто жалуются на беспорядок в данных и считают, что на оптимизацию уйдут годы. Гупта считает, что данные — это проблема, которую можно решить за пару дней.

Истинное препятствие нулевого дня — это понимание задач агентов. Нужно определить, как именно будет выглядеть успех или провал. Она пояснила, что проблема нулевого дня сводится к преодолению трудностей управления. Например, нужно решить, можно ли по правилам предоставлять агенту конкретные данные.

Руководитель службы информационной безопасности захочет узнать, к какой информации получат доступ агенты и какие меры контроля вы примените.

Гупта предупредила: если вы не знаете, какие агенты работают в вашей среде и к чему они имеют доступ, это проблема нулевого дня. Из-за этого директор по безопасности лишится сна и запретит использовать самые ценные данные, разрешив работать только с их частью. Использование лишь части данных — не лучший вариант. У вас не будет информации, которая действительно нужна для запуска новых приложений.

Что делать в такой ситуации? Проявите инициативу и обсудите вопросы управления с директором по информационной безопасности. Гупта отметила, что прозрачность и контроль ускорят процесс. Внутренние комитеты по управлению ИИ часто становятся местом, где проекты терпят крах или сталкиваются с серьезными препятствиями на пути к релизу. Это первое испытание, которое необходимо пройти.

FOMO среди агентов реален

По словам эксперта, компании зашли в тупик, но пути назад от агентного ИИ уже нет.

Она отметила, что страх упустить выгоду (FOMO) преследует бизнес каждый день. Компании боятся отстать от отрасли и переживают, что конкуренты быстрее научатся извлекать пользу из ИИ.

Стартапы в сфере ИИ получили наибольшую выгоду. В таких компаниях может быть всего пять сотрудников, но они используют ИИ-помощников, которые выполняют работу за сотню человек.

Однако даже с этим преимуществом ни одна компания пока не нашла идеальную формулу производительности ИИ. Несмотря на проблемы нулевого дня, синдром упущенной выгоды заставит компании и дальше активно внедрять агентов.

Гупта считает, что нужно с чего-то начинать, пробовать и повторять попытки. Вы столкнетесь с препятствиями и проблемами, которые придется решать. Начинать через пять лет будет уже поздно. Гупта настроена оптимистично. Она надеется, что клиенты быстро справятся с проблемами нулевого дня.

Она предполагает, что в ближайшие 6–12 месяцев технология начнет набирать популярность. Гупта надеется, что через год внедрение станет гораздо более широким. Инструменты станут лучше, а люди пройдут несколько циклов обучения и разберутся в деталях.

Samsung Galaxy A27 против Galaxy A26: основные различия