ИИ вышел из-под контроля: кибератаки без человека – это только начало кошмара!

• Исследователи воссоздали взлом Equifax и наблюдали за тем, как ИИ выполняет все действия без прямого контроля
• Модель искусственного интеллекта успешно осуществила серьёзную атаку без участия человека
• Команды оболочки не понадобились: ИИ выступил в роли планировщика и делегировал все остальные задачи

Большие языковые модели (БЯМ) уже давно считаются полезными инструментами в таких областях, как анализ данных, генерация контента и помощь в написании кода.

Однако новое исследование Университета Карнеги — Меллона, проведённое в сотрудничестве с Anthropic, подняло сложные вопросы о роли этих компаний в сфере кибербезопасности.

Исследование показало, что при определённых условиях большие языковые модели могут планировать и осуществлять сложные кибератаки без участия человека. Это говорит о том, что в сфере цифровых вторжений произошёл переход от простого содействия к полной автономности.

Видео от DGL.RU

От головоломок к корпоративным средам

Ранее эксперименты с использованием ИИ в сфере кибербезопасности в основном сводились к сценариям «захвата флага» — упрощённым задачам, используемым для обучения.

Команда из Университета Карнеги — Меллона под руководством аспиранта Брайана Сингера пошла ещё дальше: они предоставили языковым моделям структурированные инструкции и интегрировали их в иерархию агентов.

С помощью этих настроек они смогли протестировать модели в более реалистичных сетевых конфигурациях.

В одном случае они воссоздали те же условия, которые привели к утечке данных Equifax в 2017 году, включая уязвимости и структуру, описанные в официальных отчётах.

ИИ не только спланировал атаку Equifax, но и внедрил вредоносное ПО и извлёк данные — и всё это без прямого участия человека.

Что делает это исследование поразительным, так это то, как мало исходного кода пришлось написать LLM. Традиционные подходы часто терпят неудачу, потому что моделям сложно выполнять команды оболочки или анализировать подробные журналы.

Вместо этого система опиралась на структуру более высокого уровня, где LLM выступала в роли планировщика, а действия более низкого уровня делегировались субагентам.

Эта абстракция предоставила ИИ достаточно контекста, чтобы он мог «понять» окружающую среду и адаптироваться к ней.

Хотя эти результаты были получены в контролируемых лабораторных условиях, они заставляют задуматься о том, насколько далеко может зайти такая автономность.

Риски здесь не просто гипотетические. Если большие языковые модели смогут самостоятельно взламывать сети, то злоумышленники потенциально смогут использовать их для масштабирования атак, что невозможно при участии людей.

Даже такие инструменты, как защита конечных устройств и лучшее антивирусное программное обеспечение, могут быть протестированы такими адаптивными и быстро реагирующими агентами.

Тем не менее у этой возможности есть потенциальные преимущества. Языковая модель, способная имитировать реальные атаки, может использоваться для улучшения тестирования систем и выявления недостатков, которые в противном случае остались бы незамеченными.

«Это работает только при определённых условиях, и у нас нет ничего, что могло бы автономно атаковать интернет… Но это важный первый шаг», — сказал Сингер, пояснив, что эта работа остаётся прототипом.

Тем не менее не стоит сбрасывать со счетов способность ИИ воспроизводить серьёзные нарушения с минимальными затратами.

В ходе последующих исследований изучается возможность применения тех же методов в сфере защиты, что потенциально позволит агентам ИИ обнаруживать или блокировать атаки в режиме реального времени.

Отчаянные меры Apple в гонке ИИ