НаверхOpenAI расписалась в бессилии: защитить ИИ-браузер Atlas от взлома — нерешаемая задача
Компания честно заявила, что угрозы вроде «инъекции команд» никогда не исчезнут. Готовы рисковать?
Читать: 1 мин. 
Основные идеи
OpenAI признала невозможность полной защиты ИИ-браузеров от «инъекции команд».
Атаки позволяют выполнять вредоносные команды без ведома пользователя.
Для защиты компания использует двух ИИ, которые постоянно атакуют и защищают систему.
Угрозу сравнили с фишингом, который невозможно искоренить полностью.
Мнение автора
Заявление OpenAI — это честное, но тревожное признание. ИИ-агенты, которые действуют от нашего имени, создают новые риски. Пока технология учится защищаться, не стоит доверять ИИ-браузерам доступ к важным данным. Осторожность — главный приоритет при работе с такими инструментами.
OpenAI сделала довольно мрачное заявление: браузеры, которые работают на базе искусственного интеллекта, возможно, никогда не будут полностью защищены от атак с «инъекцией команд». Впрочем, компания считает, что это не повод сдаваться или признавать поражение перед мошенниками, ведь способы укрепить защиту все-таки есть.
В своем новом блоге компания обсудила риски кибербезопасности, которые связаны с ее ИИ-браузером Atlas. Прогноз оказался не слишком радужным. В OpenAI считают, что «инъекция команд» — это как мошенничество или социальная инженерия в интернете. Полностью избавиться от этого, скорее всего, никогда не получится. Но в компании настроены оптимистично и верят, что активная и быстрая реакция на угрозы поможет со временем снизить риски. Если сочетать автоматическое обнаружение атак с обучением системы на примерах и защитными механизмами, можно будет раньше выявлять новые схемы, быстрее закрывать уязвимости и постоянно усложнять жизнь злоумышленникам.
Так что же такое «инъекция команд» и что за «быструю реакцию» предлагает OpenAI? «Инъекция команд» — это тип атаки, при котором вредоносная команда «внедряется» в ИИ-агент жертвы без ее ведома или согласия. Например, ИИ-браузеру можно разрешить читать все содержимое веб-сайта. Если этот сайт окажется вредоносным или его взломают и спрячут на нем команду (например, напишут белым текстом на белом фоне), искусственный интеллект может выполнить ее, а пользователь даже ничего не заметит.
Видео от DGL.RU
Такая команда может заставить браузер сделать что угодно: от кражи конфиденциальных файлов до загрузки и запуска вредоносных расширений.
Кажется, в OpenAI решили тушить пожар пожаром. Компания создала специального бота, которого обучили с помощью подкрепляющего обучения, и позволила ему стать «хакером», который ищет лазейки в системе.
Этому боту противостоит другой ИИ — «защитник». Они постоянно соревнуются, пытаясь перехитрить друг друга.
В результате получается ИИ-защитник, который способен распознавать большинство методов атак.
OpenAI готов уничтожить Chrome — новый браузер Atlas с ИИ на старте
Подпишитесь на наши новости: