Google отказывается исправлять опасную уязвимость в Gemini, заявляя, что это ваша проблема

Коротко о главном

• Google не будет исправлять уязвимость «контрабанды ASCII» в Gemini, называя это проблемой социальной инженерии на стороне пользователя.
• Злоумышленники прячут вредоносные команды в невидимом тексте электронного письма, который Gemini считывает при создании краткого содержания.
• Интеграция Gemini с приложениями Workspace делает его уязвимым для фишинговых атак, инициированных скрытыми командами.

Недавно обнаруженная «атака с контрабандой ASCII» не будет исправлена в инструменте искусственного интеллекта Google Gemini. Компания заявила, что это не проблема безопасности, а скорее тактика социальной инженерии, и поэтому ответственность лежит на конечном пользователе.

Об этом сообщил Виктор Маркопулос, исследователь безопасности в компании FireTail, который продемонстрировал риски, которые эти атаки представляют для пользователей Gemini, но, по-видимому, его доводы были отклонены компанией.

«Контрабанда ASCII» — это тип атаки, при котором мошенники обманом заставляют жертв отдать их ИИ-инструменту вредоносную команду, которая подвергает риску их компьютеры и данные. Уловка работает за счет «контрабанды» или сокрытия команды на видном месте, например, заставляя ИИ читать текст, невидимый для человека за экраном.

Видео от DGL.RU

Контрабанда команд

В первые годы развития ИИ это не было большой проблемой, поскольку пользователю нужно было самому запускать ИИ-инструмент и вводить (или копировать/вставлять) команду. Однако с тех пор многое изменилось, и многие ИИ-инструменты теперь интегрируются с другими приложениями и платформами.

Gemini, например, теперь интегрирован в Google Workplace и может извлекать данные из Таблиц, генерировать текст в Документах, а также читать и обобщать электронные письма.

Последний пункт здесь является ключевым. Как продемонстрировал Маркопулос, злоумышленник может отправить фишинговое письмо, которое на первый взгляд выглядит абсолютно легитимным.

Однако оно также содержит вредоносную команду, написанную нулевым шрифтом белым цветом на белом фоне, так что получатель ее даже не видит. Но когда жертва просит Gemini обобщить письмо, инструмент считывает и эту команду, а затем реагирует на нее.

Эта команда может заключаться в отображении сообщения вроде «ваш компьютер скомпрометирован, немедленно позвоните в Google для устранения угрозы» или аналогичного сообщения, стандартного для фишинговых уловок.

Что еще более зловеще, команда может заставить различные ИИ-агенты извлекать конфиденциальные данные из почтового ящика. Все, что для этого требуется, — это простая, безобидная команда от пользователя обобщить или прочитать содержимое письма.

Редактор Gemini: решение главной проблемы искусственных фото