НаверхGoogle Chrome теперь защищён от «внедрения подсказок»
В браузер добавили AI-защиту, которая следит за действиями других искусственных интеллектов и блокирует нежелательные вмешательства.
Основные идеи
Google внедрила защиту от атак с косвенной инъекцией подсказок в Chrome
User Alignment Critic проверяет действия агента на соответствие задаче пользователя
Agent Origin Sets ограничивает доступ агента только релевантными источниками
Журналы действий и запросы разрешений перед конфиденциальными сайтами повышают контроль
Мнение автора
Google снова подняла планку безопасности в Chrome, сосредоточившись на предотвращении атак через непрямые подсказки ИИ. User Alignment Critic и Agent Origin Sets выглядят как продуманный барьер для злоумышленников. В реальности это добавляет уверенности, что действия агента строго соответствуют запросу пользователя.
Google усиливает защиту Chrome от атак с непрямым внедрением подсказок и вводит новые средства безопасности. Особенности: критерии согласования с пользователем и наборы источников для безопасной работы агента. Теперь агенты фиксируют действия в журнале и запрашивают разрешение перед доступом к конфиденциальным сайтам
Google внедряет в браузер Chrome новые инструменты безопасности. Они гарантируют, что злоумышленники не смогут использовать возможности управления через непрямую инъекцию подсказок.
Внедрение подсказок косвенным путем представляет собой тип атаки, когда ИИ-агент считывает и выполняет контент третьих лиц, например, входящее электронное письмо.
В качестве примера можно привести скрытый запрос на криптовалютную транзакцию из плагина кошелька в браузере. Текст может быть белого цвета и нулевого размера, поэтому жертва его не видит. Однако если пользователь обработает письмо с помощью ИИ, агент может отреагировать на команду.
Источники для согласования с пользователем
Чтобы предотвратить подобные ситуации, Google внедрила дополнительные уровни безопасности. В их число вошли User Alignment Critic и Agent Origin Sets. Первый инструмент представляет собой функцию, которая отслеживает действия агента в изолированной от ненадежного контента среде.
Разработчики из Google пояснили, что проверка соответствия требованиям пользователя запускается после завершения планирования. Она перепроверяет каждое предлагаемое действие.
Основная цель инструмента заключается в согласовании с задачей пользователя. Система определяет, соответствует ли предлагаемое действие заявленным намерениям. Если совпадения нет, Alignment Critic наложит вето. Компонент видит только метаданные, а не нефильтрованный веб-контент. Это гарантирует, что его нельзя исказить из сети. У инструмента меньше контекста, но и задача проще — он просто одобряет или отклоняет операцию.
С другой стороны, Agent Origin Sets гарантирует, что агент получает доступ только к данным из источников, которые связаны с текущей задачей, или к информации, которой пользователь решил поделиться сам. Это предотвращает произвольные действия скомпрометированного бота в отношении посторонних ресурсов. Для каждой задачи в интернете надежная функция контроля определяет релевантные источники, которые предложил планировщик. Система разделяет их на два набора и отслеживает каждую сессию.
Наконец, агенты теперь могут создавать журналы учета для мониторинга поведения. Они будут запрашивать явное разрешение перед переходом на конфиденциальные сайты, такие как банковские или медицинские порталы.
Подпишитесь на наши новости: