Генеративный ИИ — сплошное разочарование? Почему технология будущего так часто врёт и ошибается

Генеративные нейросети умеют вести диалог, отвечать на вопросы, писать рассказы, создавать программный код, а также генерировать изображения и видео практически по любому запросу. Давайте разберемся, как работает генеративный искусственный интеллект, как его используют и почему его возможности куда скромнее, чем вы могли подумать.

Генеративный ИИ — это разновидность искусственного интеллекта, которая создает совершенно новый контент. Это могут быть тексты, изображения, аудио и видео. В своей работе нейросеть опирается на закономерности, которые она изучила на основе существующих данных.

Современные генеративные модели обычно строятся на базе фундаментальных архитектур, таких как большие языковые модели (LLM) и мультимодальные системы. Поэтому они могут поддерживать беседу, отвечать на вопросы, сочинять истории, генерировать код и создавать изображения или видео по коротким текстовым подсказкам.

Видео от DGL.RU

Генеративный ИИ отличается от дискриминационного, который умеет различать разные типы входных данных. Дискриминационный ИИ отвечает на вопросы вроде: «На этой картинке кролик или лев?». А вот генеративный ИИ реагирует на такие запросы: «Опиши мне, чем кролик отличается от льва» или «Нарисуй мне картинку, где лев и кролик сидят рядом». В обоих случаях он создаст текст или изображение, которое основано на обучающих данных, но при этом не является просто копией чего-то уже существующего.

Всего несколько лет назад генеративный ИИ был диковинкой, которая в основном применялась в чат-ботах и для создания забавных картинок. Сегодня эта технология стала ключевой для бизнеса. Ее используют повсюду: от создания контента и разработки программного обеспечения до поддержки клиентов и аналитики. Но вместе с этой мощью пришел и новый набор проблем — от «галлюцинаций» моделей до сложностей с управлением и интеграцией данных.

В этой статье мы рассмотрим, как устроен генеративный ИИ, проследим его эволюцию до эпохи фундаментальных моделей, изучим способы его эффективного внедрения и дадим лучшие советы по извлечению из него пользы — как сегодня, так и в будущем.

Как работает генеративный ИИ?

Десятилетиями ранние разработки в области искусственного интеллекта были сосредоточены на системах, которые работали на основе правил, или на узкоспециализированных моделях. Такие модели создавали для выполнения одной конкретной задачи. Хотя эти усилия привели к созданию полезных систем, которые могли рассуждать и решать человеческие задачи, они были очень далеки от научно-фантастических представлений о мыслящих машинах. Программы, которые могли бы разговаривать с людьми, казалось, так и не продвинулись дальше уровня ELIZA — «компьютерного психотерапевта», которого создали в Массачусетском технологическом институте в середине 1960-х. Даже нашумевшие Siri и Alexa в итоге оказались довольно ограниченными.

Большой структурный сдвиг, который породил современный генеративный ИИ, произошел с появлением концепции трансформера. Ее впервые представили в 2017 году в научной работе «Attention Is All You Need».

Когда в основе системы лежит трансформерная архитектура, она может извлекать смысл из анализа длинных последовательностей входных токенов (слов, частей слов, байтов). Так она понимает, как различные токены могут быть связаны друг с другом, а затем определяет, какой токен с наибольшей вероятностью появится в последовательности следующим. В мире ИИ такие системы называют моделями. Поскольку модель анализирует огромные наборы данных и несчетное количество параметров, она способна улавливать статистические закономерности и знания, которые неявно заложены в данных.

Сказать проще, чем сделать. Процесс настройки внутренних параметров модели, чтобы она лучше предсказывала следующий токен в последовательности, называется обучением. Во время обучения модель многократно угадывает следующий токен в заданной последовательности, сравнивает свой прогноз с реальным, измеряет ошибку и обновляет свои параметры. Это нужно, чтобы уменьшить эту ошибку на миллиардах примеров. Со временем этот процесс обучает модель статистическим связям, которые позволят ей в дальнейшем генерировать связную речь (или код, или изображения).

Что такое фундаментальная модель?

Вы наверняка часто слышали, что такие модели на основе трансформеров называют «большими», как в случае с упомянутыми ранее LLM. «Большие» в данном контексте означает огромное количество внутренних числовых значений, которые модель настраивает во время обучения. Они отражают все, что она выучила. Также это слово указывает на широту и разнообразие данных, которые использовали для обучения, и на колоссальные вычислительные ресурсы, которые задействованы в этом процессе.

Это сильно отличает их от узкоспециализированных моделей прошлой эпохи ИИ, которые создавались для одной цели и обучались на ограниченном наборе данных. Например, спам-фильтр может отлично справляться со своей задачей, но он обучался только на данных из электронной почты, и все, что он умеет, — это классифицировать письма. Большие модели, напротив, служат так называемыми фундаментальными моделями. Их обучают на самых разнообразных данных (текст, код, изображения или мультимодальные данные), а затем адаптируют или специализируют для множества последующих задач.

Эти фундаментальные модели лежат в основе большинства популярных инструментов и сервисов генеративного ИИ, которые сегодня есть на рынке. Их можно специализировать несколькими способами:

• Дообучение: модель проходит дополнительное обучение на меньшем, специализированном наборе данных.
• Генерация с дополненной выборкой (RAG): модель получает возможность обращаться к внешним источникам знаний, когда ей задают вопрос.
• Промпт-инжиниринг: вы особым образом формулируете запрос, чтобы модель давала именно тот ответ, который вам нужен.

Как системы ИИ пишут компьютерный код?

Одним из главных сюрпризов эпохи генеративного ИИ стало то, что фундаментальные модели, обученные на обычном тексте, могут писать и компьютерный код. Для этого их нужно лишь дообучить на примерах кода, и часто они справляются с этой задачей лучше, чем многие специализированные системы. Впрочем, если задуматься, в этом есть смысл — ведь высокоуровневые компьютерные языки созданы людьми и в конечном счете основаны на человеческом языке.

Это стало возможным благодаря таким моделям, как PaLM, LLaMA и другим системам на основе трансформеров, которые дообучили на репозиториях кода. С тех пор в эту сферу пришли и гиганты вроде OpenAI. Все это важно, потому что генерация кода (или помощь в написании кода) стала одним из ключевых сценариев использования генеративного ИИ в бизнесе — возможно, даже самым главным, если судить по энтузиазму, с которым индустрия взялась за его внедрение.

Что такое ИИ-агенты?

До сих пор мы говорили о чат-ботах, ассистентах для написания текстов и инструментах для генерации изображений. Они отвечают на запросы, выдают текст или картинку, а затем останавливаются. Новая категория инструментов, которую называют агентным ИИ, идет дальше: она планирует, выполняет задачи и во многих случаях учится в процессе работы.

Поскольку большие модели уже в некоторой степени понимают язык, код и даже структурированные данные, их можно перенастроить так, чтобы они генерировали не только описательный текст, но и рабочие инструкции. Например, агент может разобрать намерение «сформировать отчет о продажах», затем составить внутренние команды вроде getData(salesDB, region=NA, period=lastQuarter) и после этого вызвать API. Все это он делает путем генерации текста, который интерпретируется как инструкции. Существуют специальные фреймворки, которые стандартизируют «язык» этих инструкций и точки подключения к инструментам и данным. Благодаря этому модели не требуется специальная интеграция для каждого нового рабочего процесса.

У таких автономных агентов есть несколько вариантов применения в бизнесе:

• Автоматизация разработки ПО: агенты, которые генерируют код, запускают тесты, развертывают сборки, отслеживают логи и даже самостоятельно откатывают изменения.
• Поддержка клиентов: агенты не просто готовят ответы, а взаимодействуют с API CRM-систем, обновляют статусы заявок, эскалируют проблемы и запускают последующие рабочие процессы.
• IT-операции/AIOps: агенты следят за инфраструктурой, выявляют аномалии, открывают/закрывают заявки или автоматически устраняют сбои на основе заданных правил и контекста из логов.
• Безопасность: агенты могут обнаруживать угрозы, инициировать оповещения, изолировать скомпрометированные системы или даже пытаться сдержать угрозу — хотя это и создает новые риски.

Как внедрить генеративный ИИ в компании?

Мы уже коснулись того, что может делать генеративный ИИ. Но как заставить его надежно работать в вашем бизнесе? Разница между пилотным проектом и полномасштабным внедрением часто зависит не столько от самих моделей, сколько от системного подхода, структуры и управления. Вот некоторые важные моменты, которые следует учитывать.

Выбор между API, открытым исходным кодом и кастомной моделью

Одно из первых серьезных решений для любого корпоративного проекта — это выбор модели. Вы будете использовать модель через API (например, от таких поставщиков, как OpenAI или Anthropic), развернете модель с открытым исходным кодом внутри компании или создадите/дообучите собственную модель? У каждого варианта есть свои плюсы и минусы. API-интерфейсы позволяют быстро начать работу, но могут раскрыть ваши данные, ограничить кастомизацию или оказаться очень дорогими. К тому же вы будете полностью зависеть от поставщика. Открытый исходный код дает внутренний контроль и может упростить дообучение, но требует инфраструктуры, экспертизы и поддержки. Кастомная модель обеспечивает максимальное соответствие вашему сценарию использования, но увеличивает время до получения результата и повышает риски.

Управление, конфиденциальность данных и соответствие нормам

Развертывание генеративного ИИ в корпоративной среде поднимает новые вопросы управления, конфиденциальности и регулирования. Например, кто владеет данными, которые загружаются в систему? Как защищены конфиденциальные данные, если вы обращаетесь к стороннему API? Существует ли возможность отследить происхождение результатов модели — это огромный вопрос для регулируемых отраслей. Управление данными должно адаптироваться к новой эре, и для этого уже появляются новые стандарты.

Контроль со стороны человека

Даже лучшие модели совершают ошибки, и их нельзя просто пустить на самотек. Вам нужен процесс, в котором участвует человек (human-in-the-loop, HITL). Реальные люди должны проверять результаты, выявлять предвзятость, одобрять контент для важных задач, а также настраивать промпты или модели на основе обратной связи. Внедрение таких контрольных точек помогает снизить риски и улучшить общее качество.

Интеграция с существующими системами и RAG

Генерация с дополненной выборкой (RAG), о которой мы упоминали ранее, связывает фундаментальные модели с бизнес-процессами, системами и корпоративными хранилищами данных. RAG может подключить LLM к внутренним базам знаний вашей организации. Это уменьшает количество «галлюцинаций» (о которых мы поговорим чуть позже) и повышает релевантность результатов работы генеративного ИИ.

Лучшие практики внедрения генеративного ИИ

Вот четыре лучшие практики в области ИИ, о которых стоит помнить:

• Ограничения: определите четкие рабочие границы. Например, запретите вывод конфиденциальных данных, настройте контроль доступа, регистрируйте взаимодействия с моделью.
• Промпт-инжиниринг: многое из того, что будет делать модель, зависит от того, как ее об этом попросят. Поэтому вкладывайтесь в разработку, версионирование, проверку и тестирование промптов.
• Метрики оценки: определите соответствующие ключевые показатели эффективности (точность, задержка, стоимость, бизнес-результат), отслеживайте их и вносите улучшения.
• Наблюдаемость модели: относитесь к системам генеративного ИИ как к программному обеспечению — следите за производительностью, выявляйте отклонения, корректно обрабатывайте сбои, проверяйте результаты и сохраняйте возможность их отслеживания.

Что вызывает «галлюцинации» ИИ?

Пожалуй, главный недостаток генеративного ИИ — это так называемые галлюцинации. Этот термин может вводить в заблуждение, но по сути он означает результат, который с точки зрения человека является ложным или неверным.

Любая система генеративного ИИ, какой бы продвинутой она ни была, построена на предсказании. Помните, что модель на самом деле не «знает» фактов. Она анализирует последовательность токенов, а затем, на основе анализа своих обучающих данных, вычисляет, какой токен с наибольшей вероятностью должен идти следующим. Именно это делает ее ответы плавными и похожими на человеческую речь, но если ее прогноз окажется неверным, это будет воспринято как галлюцинация.

5 ключевых выводов о генеративном ИИ

1. Генеративный ИИ вероятностный, а не фактологический. Генеративный ИИ — это статистический механизм, а не база знаний. Это означает, что «галлюцинации» (то есть правдоподобные, но ложные результаты) являются неотъемлемым побочным эффектом его работы.
2. Фундаментальная модель — это ключевой сдвиг. Современные системы строятся на фундаментальных моделях (таких как LLM) и трансформерной архитектуре. Эти модели проходят общее обучение, а затем специализируются с помощью тонкой настройки, промпт-инжиниринга и генерации, дополненной поиском (RAG).
3. Агенты — это следующий уровень автоматизации. Генеративный ИИ развивается от простых чат-ассистентов к агентному ИИ. Эти системы могут автономно планировать, выполнять задачи и обучаться путём генерации программного кода или операционных инструкций.
4. Управление — обязательное условие. Успешное внедрение в корпоративной среде требует строгого управления и защитных механизмов. Ключевые задачи включают предотвращение утечек данных через сторонние API, защиту от атак с внедрением промптов и снижение рисков, связанных с авторским правом и владением контентом.
5. Внедрение требует стратегии. Компании должны стратегически выбирать свой путь развёртывания (API, открытый исходный код или собственная тонкая настройка), обеспечивая баланс между скоростью, стоимостью и контролем. Развёртывание требует инвестиций в контроль со стороны человека (Human-in-the-Loop, HITL).

Генеративный ИИ, фундаментальные модели, агентный ИИ, управление и стратегия внедрения — вот главные выводы.

Поскольку модель не различает то, что является общеизвестным фактом, и то, что просто с высокой вероятностью следует за входным текстом, галлюцинации — это прямой побочный эффект статистического процесса, который лежит в основе генеративного ИИ. И не стоит забывать, что мы часто заставляем ИИ-модели находить ответы на вопросы, на которые мы сами, имея доступ к тем же данным, ответить не можем.

В текстовых моделях галлюцинации могут проявляться в виде выдуманных цитат, сфабрикованных ссылок или неверного описания технического процесса. При анализе кода или данных это может привести к синтаксически правильным, но логически неверным результатам. Даже конвейеры RAG, которые предоставляют моделям реальный контекст данных, лишь уменьшают количество галлюцинаций, но не устраняют их полностью. Компании, которые используют генеративный ИИ, должны внедрять уровни проверки, конвейеры валидации и человеческий надзор, чтобы предотвратить распространение этих сбоев в рабочие системы.

Какие еще проблемы есть у генеративного ИИ?

Генеративный ИИ оказался настолько прорывной технологией, что уже породил почти апокалиптические страхи. Некоторые считают, что он приведет к появлению сверхинтеллекта, который поработит или уничтожит человечество. Тем временем в наши дни появляются все более тревожные сообщения о так называемом «ИИ-психозе», когда у людей случаются проблемы с психическим здоровьем. Это происходит из-за того, что чат-боты странным и иногда подобострастным образом подтверждают все, о чем вы с ними говорите, и пытаются любой ценой продолжить разговор.

По сравнению с такими экзистенциальными вопросами, следующие бизнес-проблемы могут показаться мелочью. Но это реальные проблемы для компаний, которые рассматривают возможность инвестиций в инструменты ИИ.

Утечка данных и регуляторные риски. Когда модель дообучается или получает запросы с конфиденциальной информацией, эти данные могут быть «запомнены» и случайно воспроизведены. Если использовать сторонние API без строгого контроля, можно раскрыть коммерческую тайну или персональные данные. Нормативные акты, такие как GDPR и HIPAA, требуют четкого управления тем, где находятся обучающие данные и как хранятся результаты.

Промпт-инъекция происходит, когда злоумышленник манипулирует инструкциями модели. Он встраивает скрытые директивы или вредоносные команды во входные данные от пользователя или во внешний контент, который читает модель. Это может обойти правила безопасности, раскрыть внутренние данные или выполнить непреднамеренные действия в агентных системах. Ограничения, которые очищают входные данные, лимитируют права на вызов инструментов и проверяют выходные данные, становятся абсолютно необходимыми.

Авторское право и право собственности на контент. Многие фундаментальные модели обучаются на данных, собранных из общедоступного интернета. Это создает споры об авторских правах и происхождении данных. Компании, которые используют сгенерированный контент в коммерческих целях, должны подтверждать права на его использование и изучать условия возмещения убытков от поставщиков.

Нереалистичные ожидания от производительности. Наконец, организации иногда ожидают, что генеративный ИИ мгновенно повысит производительность. Реальность, как выяснилось, более неоднозначна. Внедрение в корпоративной среде требует инфраструктуры, управления, переобучения персонала и культурных изменений. Модели ускоряют работу, когда они правильно интегрированы, но они не заменяют автоматически человеческое суждение или надзор.

Современное поколение корпоративных систем ИИ включает несколько уровней защиты от этих рисков. Сюда входят защитные механизмы, которые ограничивают поведение модели и фильтруют небезопасные результаты. Также используются фреймворки для валидации моделей, которые измеряют фактическую точность и последовательность перед развертыванием. Кроме того, применяются политики, которые обеспечивают соблюдение правил, скрывают конфиденциальные данные и регистрируют действия модели. Эти меры предосторожности уменьшают, но не устраняют врожденную неопределенность, которая свойственна генеративному ИИ.

Генеративный ИИ прошел путь от диковинки до основного слоя корпоративных технологий. Фундаментальные модели и агентные системы теперь лежат в основе автоматизации, аналитики и творческих процессов, но они по-прежнему остаются вероятностными инструментами. Их сила заключается в масштабируемости и адаптируемости, а не в идеальном понимании.

Для компаний успех зависит не столько от погони за новыми прорывными моделями, сколько от ответственного внедрения этих систем. Необходимо создавать защитные механизмы, поддерживать надзор и согласовывать их с реальными потребностями бизнеса.

Если использовать генеративный ИИ с умом, он сможет усилить человеческие возможности, а не заменить их.

Искусственный интеллект – искусственный пузырь? Экономист бьёт тревогу: крах неизбежен