ИИ не бредит: опасный миф, который сбивает людей с толку

Люди ошибочно используют медицинский термин «галлюцинация», когда описывают ошибки искусственного интеллекта. Медицинское понятие «конфабуляция» гораздо точнее характеризует ложные результаты работы нейросетей. Если мы откажемся от слова «галлюцинация», то сможем развеять мифы вокруг ИИ.

Выражение «галлюцинация ИИ» знакомо каждому, кто работал с ChatGPT, Gemini или Perplexity. Эти системы часто выдают откровенную ложь, поэтому с термином сталкивались почти все пользователи чат-ботов.

Однако это выражение ошибочно. Когда большая языковая модель или другая программа генеративного ИИ утверждает неправду, это следует называть не галлюцинацией, а «конфабуляцией». ИИ не галлюцинирует, он занимается конфабуляцией.

Слова «конфабуляция» и «галлюцинация» пришли из психологической литературы, но означают они совершенно разные вещи.

Галлюцинация представляет собой осознанное чувственное восприятие, которое расходится с реальными стимулами окружающей среды. Конфабуляция же — это высказывание утверждений, которые противоречат фактам. Например, фраза «президент Франции — Франсуа Миттеран» сегодня не соответствует действительности.

Первый термин подразумевает сознательное восприятие. Второй может указывать на наличие сознания у людей, но также охватывает просто неточные утверждения без участия сознания.

Психологи начинают выступать против термина «галлюцинация» и подчеркивают, что важно использовать слово «конфабуляция».

Джеральд Вейст с кафедры неврологии Венского медицинского университета и Оливер Х. Тернбулл с кафедры психологии Бангорского университета написали в октябрьском номере журнала New England Journal of Medicine Artificial Intelligence, что медицинский термин «галлюцинация» пришел из человеческого опыта. По их словам, он неточно описывает эту дисфункцию искусственного интеллекта.

Авторы утверждают, что медицинское понятие «конфабуляция» описывает ситуацию точнее, чем «галлюцинации».

Проблема неверного понимания ИИ

Это различие критически важно для всех пользователей генеративного ИИ. Термины могут порождать мифы и заблуждения, а те приводят к нереалистичным и даже опасным ожиданиям от технологий.

Репортеры New York Times Кашмир Хилл и Дженнифер Валентино-ДеВриз на этой неделе опубликовали расследование. В нем говорится, что пользователи относятся к чат-ботам на основе ИИ как к доверенным лицам и друзьям. Когда люди приписывают ботам осознанные намерения, они начинают верить в правдивость и важность ответов машины, что может привести к катастрофическим последствиям.

Газета The Times выявила почти 50 случаев, когда у людей случались кризисы психического здоровья во время общения с ChatGPT. Девять человек попали в больницу, трое умерли.

Авторы не связывают эти трагедии конкретно с термином «галлюцинация». Однако это одно из тех слов, которые мы применяем неправильно. Оно подразумевает деятельность и сознание у простой компьютерной программы, которая выдает результаты, пусть и убедительные.

Люди склонны наделять эту технологию способностью чувствовать и даже сознанием, хотя доказательств этому нет. Очевидно, что на такие взгляды влияет язык, который мы используем.

Статья в Times описывает зловещий прецедент ошибочных взглядов. Даже признанные эксперты в области технологий искусственного интеллекта связали впечатляющую генерацию текстов с наличием чувств или сознания у моделей.

Летом 2022 года, за несколько месяцев до выхода ChatGPT, бывший инженер Google Блейк Лемуан призвал компанию серьезно отнестись к его заявлению. Он утверждал, что передовая на тот момент модель LaMDA стала разумной сущностью.

Лемуан провел много часов в чате с ботом и пришел к выводу, что LaMDA, вероятно, обладает разумом. Инженер решил так, потому что программа «беспокоится о будущем и вспоминает прошлое».

Убежденность Лемуана доказала, что люди готовы приписывать машине определенные качества и убеждать в этом себя. Для этого они используют психологические термины, такие как «беспокойство» или «страх».

Язык, которым мы описываем ИИ, играет решающую роль в восприятии технологий людьми. По этой причине следует изучить заимствованные термины, такие как «галлюцинация», и, возможно, даже отказаться от них.

Запутанная история галлюцинаций ИИ

Согласно данным Gemini и ChatGPT, термин «галлюцинация» имеет долгую и богатую историю в области искусственного интеллекта, которая началась задолго до недавних событий.

Одним из первых это слово применил Эрик Мьолснесс в 1980-х годах, когда использовал нейронные сети для распознавания отпечатков пальцев. Мьолснесс вкладывал в термин «галлюцинация» положительный смысл. Он обозначал способность системы компьютерного зрения извлекать четкий рисунок линий из зашумленного изображения.

Спустя десятилетия, но еще до появления ChatGPT, этот термин начал приобретать негативный оттенок. Примером служит запись в блоге Андрея Карпати, бывшего специалиста по искусственному интеллекту Tesla и соучредителя OpenAI. В 2015 году он обсуждал нейронные сети, которые создают тексты.

Карпати заметил, что нейронные сети могут выдавать убедительные примеры статей Википедии или математических формул. При этом они создают ложные URL-адреса или бессмысленные уравнения. Он написал: «модель просто сгаллюцинировала это».

ChatGPT и крупные языковые модели набрали популярность, и общественность все чаще называет недостатки ИИ галлюцинациями.

Этот термин проник даже в научные работы, где специалисты должны быть точны, но используют его небрежно. Негар Малеки и его коллеги из Мэрилендского университета в прошлом году выявили 333 статьи с упоминаниями «галлюцинаций ИИ» и подобных фраз. Исследователи пришли к выводу, что этот термин не имеет точного и общепринятого определения.

Конфабуляция кажется лучшей аналогией

Ученые уровня Карпати много знают об ИИ, но они не врачи и не психологи. Поэтому стоит прислушаться к мнению представителей этих дисциплин.

Медики уже много лет пытаются убедить нас, что мы не понимаем сути, когда говорим о галлюцинациях ИИ.

Сёрен Динесен Эстергаард и его коллеги с кафедры клинической медицины Орхусского университета в Дании сделали обзор литературы по искусственному интеллекту за 2023 год. Они написали, что галлюцинация — это медицинский термин, который описывает чувственное восприятие при отсутствии внешнего стимула.

Авторы отметили, что у моделей ИИ нет сенсорного восприятия как такового. Когда они ошибаются, это происходит при наличии внешнего стимула. Данные для обучения моделей можно метафорически рассматривать как внешние стимулы, равно как и подсказки, которые вызывают реакцию, иногда ложную.

Другими словами, эта аналогия не соответствует определению галлюцинации даже в самом базовом смысле. В своей статье в NEJM AI Уист и Тернбулл изложили доводы против термина «галлюцинация» и высказались в пользу «конфабуляции» как более удачной аналогии.

Они писали, что галлюцинация представляет собой спонтанное восприятие в любой сенсорной модальности: зрительной, слуховой или обонятельной. Реальный внешний стимул при этом отсутствует. По сути, это пассивные явления, которые базируются на сознательном, пусть и ложном, восприятии. Важно отметить, что ИИ лишен этого сознательного элемента.

Напротив, «конфабуляция» относится к активному генерированию объективно ложной информации или мнений, которые не имеют никакого отношения к реальности. Если продолжить аналогию сбоев ИИ с человеческим разумом, то эти ошибки явно принимают форму активной конфабуляции, а не пассивного и осознанного галлюцинаторного восприятия.

Точки зрения Уиста и Тернбулла перекликаются с замечаниями, которые я давно слышу от нейробиологов, даже от тех, кто превозносит достижения искусственного интеллекта.

Специалист по искусственному интеллекту Терри Сейновски разрабатывает технологию нейронных сетей уже более четырех десятилетий и также работает дипломированным нейробиологом в Институте Скриппса в Ла-Хойе, Калифорния. Он сказал мне, что ИИ переименовал всё. То, что называют «галлюцинацией», в нейронауке известно как конфабуляция, и это ближе к истине.

Ученые начинают использовать термин «конфабуляция» в своих трудах об ИИ.

В апреле престижный журнал Американской медицинской ассоциации (JAMA) опубликовал исследовательскую статью. Доктор медицинских наук Питер Элкин и его коллеги с кафедры биомедицинской информатики Университета в Буффало, штат Нью-Йорк, описали результаты использования больших языковых моделей на экзаменах медицинской комиссии.

Когда авторы обсуждали ошибки, они старательно использовали слово «конфабуляция». Команда определила конфабуляцию как ответ на вопрос, который содержит неверную информацию (ложноположительный ответ). Они измеряли частоту конфабуляций количеством неправильных ненулевых ответов.

Давайте проясним ситуацию

Вероятно, «конфабуляция» — тоже не идеальный термин. В статье 2023 года Эстергаард и его команда предупредили, что любые отсылки к психологическим терминам в области ИИ могут создать стигму вокруг реальных состояний человека, таких как шизофрения. Это связывает человеческие галлюцинации с дисфункцией. Вместо этого ученые предложили описывать ошибки ИИ такими словами, как «нелогичность» или «несвязная реакция».

В мае JAMA опубликовал исследование моделей ИИ в медицинской диагностике. Митчелл Фельдман и его коллеги-докторанты из лаборатории компьютерных наук Массачусетской больницы общего профиля в Бостоне утверждают, что термин «конфабуляция» также имеет свои недостатки.

Фельдман и его команда отметили, что к наиболее негативным характеристикам крупных языковых моделей относится ненадежность. Генеративный ИИ может «выдумывать» или «галлюцинировать» и создавать ответы с совершенно ложными фактами.

Исследователи добавляют, что конфабуляция или галлюцинация подразумевают элемент воли или сознания. Пока мы не можем приписать эти качества большим языковым моделям. Конфабуляцию лучше было бы назвать алгоритмическим недостатком, который обусловлен вероятностной смежностью.

Однако «алгоритмический недостаток» звучит не слишком понятно для большинства людей без технического образования, поэтому какая-то аналогия все же сохранится.

Ни одна аналогия не идеальна. Но людям приходится сравнивать работу машин с человеческим разумом. Если выбирать между галлюцинациями и конфабуляциями, то второй вариант кажется шагом в правильном направлении, так как не подразумевает наличие сознания.

Итак, давайте проясним ситуацию: люди могут галлюцинировать и конфабулировать, то есть утверждать то, что считают правдой, несмотря на факты. Машины не галлюцинируют в прямом смысле этого слова. Однако они могут выдавать результаты, которые противоречат фактам, и это можно назвать конфабуляциями.

Лучшие смартфоны среднего класса 2025 года: топ-10 моделей