Google Gemini уязвим для фишинга с поддельными email-отчетами

• Gemini в Workspace предоставляет уникальные возможности для мошенничества, предупреждают исследователи
• Инструмент на основе ИИ можно настроить так, чтобы он выдавал ложные предупреждения о безопасности
• Компании должны убедиться, что ИИ не обрабатывает невидимый текст

Киберпреступники нашли новый креативный способ злоупотребления генеративным искусственным интеллектом (GenAI) от Google для кражи аккаунтов Gmail.

Некоторое время назад компания Google представила Gemini, своего чат-бота-помощника на базе искусственного интеллекта, в наборе приложений для повышения продуктивности Workspace. Одна из функций Gemini — обобщение входящих электронных писем. Когда пользователь получает электронное письмо, он может открыть вертикальную панель в правой части экрана и попросить Gemini помочь с разными задачами, например отобразить важную информацию из письма, добавить записи в календарь и т. д.

Видео от DGL.RU

Однако эксперты предупреждают, что это также делает учётные записи Gmail уязвимыми для так называемых атак с внедрением запроса. Если входящее электронное письмо содержит скрытый запрос для Gemini, он может быть выполнен на панели.

Gemini пытается украсть ваш пароль?

По словам исследователя в области безопасности Марко Фигероа, именно этому провайдер электронной почты сейчас подвержен.

Используя HTML и CSS, злоумышленники могут добавить в Gemini запрос с нулевым размером шрифта и белым цветом. Таким образом, жертва не сможет его увидеть, но Gemini отреагирует на него. Если этот запрос заставит Gemini отобразить фишинговое сообщение, он так и сделает, а поскольку сообщение будет отправлено из надёжного источника, шансы на успех возрастут.

Фигероа показал, как вредоносная программа может уведомить жертву о том, что её учётная запись электронной почты была взломана и что для решения проблемы ей нужно «позвонить» в Google по номеру телефона, указанному в сообщении.

Чтобы защититься от будущих атак с внедрением поддельных запросов, компаниям следует убедиться, что их почтовые клиенты удаляют, нейтрализуют или игнорируют контент, который скрыт в основном тексте. Кроме того, можно добавить фильтр постобработки, который будет проверять входящие письма на наличие «срочных сообщений», URL-адресов или телефонных номеров.

Наконец, компаниям следует разъяснять своим сотрудникам, что сводки, предоставляемые инструментом Gemini, не должны заменять собой оповещения системы безопасности.

Несмотря на отсутствие доказательств того, что атаки с внедрением подсказок используются в реальной жизни, компания Google признала их существование и работает над их предотвращением.

В заявлении, отправленном по электронной почте и предоставленном TechRadar Pro, представитель компании подтвердил, что защита от атак с внедрением команд является приоритетной задачей для Google:

«Мы постоянно укрепляем нашу и без того надёжную защиту с помощью «красных команд», которые обучают наши модели защищаться от подобных враждебных атак», — заявили они.

Компания Google также недавно опубликовала блог, в котором рассказывается о конкретных средствах защиты, которые она в настоящее время использует для предотвращения атак с внедрением подсказок. Эти средства защиты в настоящее время находятся на стадии внедрения.

ЧИТАЙТЕ ТАКЖЕ: ТЕПЕРЬ GOOGLE GEMINI МОЖЕТ ЧИТАТЬ ВАШИ ЧАТЫ В WHATSAPP БЕЗ ВАШЕГО ВЕДОМА, НО ВЫ МОЖЕТЕ ЭТО ОСТАНОВИТЬ