Опасный эксперимент: как Gemini AI взламывает умные дома

Хакерские атаки с использованием ИИ показывают, как Gemini можно тайно использовать для управления освещением, обогревателями и другой техникой для умного дома, что свидетельствует о новой эволюции цифровых уязвимостей.

Недавние отчеты и демонстрации с конференции по компьютерной безопасности Black Hat показали, как внешние запросы к Gemini AI, получившие название «promptware», могут обмануть ИИ и заставить его управлять умными устройствами, подключенными к Google Home. Это проблема для Google, которая работает над добавлением функций Gemini в свое приложение Google Home и заменой Google Assistant новым помощником на базе ИИ.

Секрет этих серьезных уязвимостей заключается в том, как Gemini разработан для ответа на основные команды на английском языке. Демонстрации показывают, как скрыто добавленный в приглашение Google Календаря запрос будет прочитан Gemini так же, как он сканирует другие данные приложений Google, например, при обобщении электронных писем. Но в данном случае это дополнение дает Gemini очень конкретный приказ, например, создать агента для управления повседневными устройствами из Google Home.

Видео от DGL.RU

Исследователи из Тель-Авивского университета, включая Бена Насси, Става Коэна и Ора Яира, создали веб-сайт, на котором представлен их отчет под названием «Приглашение — это все, что вам нужно». На нем есть видео, демонстрирующие, как правильные запросы к Gemini могут быть использованы для открытия окон, выключения света, включения бойлера или определения местоположения текущего пользователя.

Как показывает исследование «Приглашение — это все, что вам нужно», подробный запрос может быть скрыт в безобидном названии приглашения в Календаре или в подобном месте. Эти команды могут заставить Gemini создать скрытого агента и ждать обычного ответа (например, слова «спасибо» в электронном письме), чтобы инициировать определенные действия.

Даже если ваши настройки календаря строгие, некоторые из этих атак с использованием «promptware» могут быть выполнены через другие вещи, которые сканирует Gemini, например, через тему электронного письма. Другие демонстрации показали, как подобные команды могут приводить к спам-сообщениям, удалению событий, автоматической потоковой передаче в Zoom и другим неприятным вещам.

Стоит ли беспокоиться о своих устройствах Google Home?

Google сообщил CNET, что с тех пор, как исследователи предоставили Google свой отчет в феврале, было внесено несколько исправлений для устранения уязвимостей «promptware». В этом и заключается смысл конференций Black Hat — выявлять проблемы до того, как ими воспользуются настоящие киберпреступники, и оперативно вносить исправления.

Энди Вен, старший директор по управлению продуктами безопасности в Google Workspace, сказал: «Мы устранили эту проблему до того, как ею могли воспользоваться, благодаря отличной работе и ответственному раскрытию информации Беном Насси и его командой. Их исследование помогло нам лучше понять новые векторы атак и ускорило нашу работу по развертыванию новых, передовых средств защиты, которые теперь защищают пользователей».

Если вы все еще обеспокоены, в большинстве случаев вы можете полностью отключить Gemini.

Как я уже писал ранее, взлом умного дома — явление очень редкое и очень сложное при современных мерах безопасности. Но по мере того, как эти новые генеративные ИИ добавляются в умные дома (медленно развертываемый Alexa Plus и возможные обновления Siri AI), есть вероятность, что они могут принести с собой новые уязвимости. Теперь мы видим, как это на самом деле работает, и я бы хотел, чтобы эти функции ИИ прошли еще одну проверку безопасности, как можно скорее.

Google сделала революцию: ИИ-помощник для программистов теперь бесплатен