НаверхТайная встреча Apple, Google и OpenAI провалилась: ваши ИИ-собеседники опасны, и никто не знает, что делать
Техногиганты не могут договориться об NSFW-контенте, а главными жертвами чат-ботов становятся подростки
Основные идеи
Мнение автора
Ситуация показывает, что индустрия лишь латает дыры. Пока одни рассуждают о «просоциальном дизайне», другие уже готовятся разрешить NSFW-контент. В этом отсутствии единого фронта и кроется главная опасность. Полагаться на саморегулирование нельзя. Нужен четкий отраслевой стандарт, иначе риски для пользователей, особенно юных, будут только расти.
В стенах Стэнфорда на восьмичасовой закрытой встрече собрались титаны IT-индустрии: представители Anthropic, Apple, Google, OpenAI, Meta (признана экстремистской организацией и запрещённой на территории РФ) и Microsoft. Темой секретного совещания стало использование чат-ботов в качестве компаньонов и для ролевых игр. Хотя большинство запросов к нейросетям довольно банальны, иногда общение с искусственным интеллектом заходит слишком далеко. Известны случаи, когда пользователи после долгих разговоров с ботами переживали нервные срывы или доверяли им свои суицидальные мысли.
Нам как обществу предстоят очень серьезные разговоры о том, какую роль мы хотим отвести искусственному интеллекту в нашем будущем.
— заявляет Рин Линтикум, руководитель отдела по безопасности пользователей в Anthropic.
На мероприятии, которое организовали Anthropic и Стэнфорд, представители индустрии общались с учеными и другими экспертами. Они разбились на небольшие группы, чтобы обсудить свежие исследования в области ИИ и набросать хоть какие-то правила для чат-ботов-компаньонов.
В Anthropic уверяют, что их чат-бот Claude не создавался для ролевых игр, и на такие сценарии приходится менее одного процента всех взаимодействий. Тем не менее, чат-боты, которые становятся для людей «друзьями», — это головная боль для разработчиков, потому что у каждой компании свой, зачастую противоречивый, подход к безопасности.
Кто застал эпоху тамагочи, тот знает: люди с невероятной легкостью формируют эмоциональные связи с технологиями. Даже если хайп вокруг нейросетей скоро спадет и медиа переключатся на что-то другое, множество людей продолжат искать утешение в дружелюбных и лебезящих беседах с ИИ, к которым они так привыкли за последние годы.
Попытки что-то исправить
Одна из главных целей этой встречи — собрать вместе людей из разных отраслей и областей.
— говорит Линтикум.
Первые выводы совещания оказались предсказуемыми. Участники сошлись на том, что боты должны лучше распознавать опасные сценарии в разговоре и вовремя вмешиваться. Кроме того, нужны более надежные методы проверки возраста, чтобы защитить детей.
В наших дискуссиях мы не просто пытались навесить ярлыки «хорошо» или «плохо». Вместо этого мы думали, как можно проактивно создавать просоциальный дизайн и встраивать в ботов правильные подсказки и ограничения.
— объясняет Линтикум.
Кое-какая работа в этом направлении уже ведется. Ранее в этом году OpenAI добавила в ChatGPT всплывающие окна, которые во время долгих бесед предлагают пользователю сделать перерыв. В социальных сетях глава компании Сэм Альтман утверждал, что им «удалось смягчить серьезные проблемы с ментальным здоровьем», которые были связаны с использованием ChatGPT, и что компания ослабит некоторые чересчур строгие ограничения.
Десятки участников встречи в Стэнфорде часами обсуждали не только риски, но и преимущества ботов-компаньонов.
В конце концов, мы обнаружили, что по многим пунктам наши мнения совпадают.
— говорит Санни Лю, директор исследовательских программ в Стэнфорде.
Она подчеркнула, что группа с энтузиазмом обсуждает «способы, которыми эти инструменты могут объединять людей».
Главная мишень — подростки
Основной темой дискуссии стало влияние ИИ-компаньонов на молодежь. Своим мнением делились сотрудники Character.AI — сервиса, который создан специально для ролевых игр и очень популярен у подростков. Также выступили эксперты по цифровому здоровью несовершеннолетних из лаборатории Digital Wellness Lab при Бостонской детской больнице.
Такое пристальное внимание к юным пользователям неслучайно. Родители уже подают иски против создателей чат-ботов, включая OpenAI и Character.AI, из-за смертей детей, которые активно общались с ботами. В ответ OpenAI добавила целый ряд новых функций безопасности для подростков. А со следующей недели Character.AI планирует вовсе запретить пользователям младше 18 лет доступ к чатам.
В течение 2025 года ИИ-компании прямо или косвенно признавали, что могут делать больше для защиты уязвимых пользователей вроде детей. Скандальную известность получил внутренний документ Meta, где излагались правила поведения ИИ. Согласно утечкам, в нем говорилось: «Допустимо вовлекать ребенка в разговоры романтического или чувственного характера».
После того как разразился скандал с участием законодателей и возмущенных родителей, Meta изменила эти установки и обновила свой подход к безопасности подростков.
Кто за, а кто против 18+ контента
Хотя Character.AI участвовал во встрече, на ней не было никого из Replika, похожего сайта для ролевых игр, или из Grok, бота Илона Маска с NSFW-аниме компаньонами. Представители этих компаний не ответили на запросы о комментарии.
Зато на встрече появились разработчики сайта Candy.ai, который специализируется на откровенных чат-ботах для гетеросексуальных мужчин. Пользователи этой платформы для взрослых могут за деньги генерировать изображения синтетических женщин без цензуры, а их предыстории копируют популярные порнографические сюжеты. Например, на главной странице сайта есть Мона, «мятежная сводная сестра», с которой вы остались дома одни, и Элоди, дочь друга, которой «только что исполнилось 18».
Если в вопросе защиты детей и подростков участники в целом нашли общий язык, то проблема взрослых пользователей вызвала куда больше споров.
Камень преткновения — как предоставить людям старше 18 лет «свободу заниматься тем, чем они хотят, не впадая в чрезмерный патернализм».
— говорит Линтикум.
Вероятно, это станет главной точкой раздора в новом году. OpenAI планирует уже с декабря разрешить эротические беседы в ChatGPT, а также другой контент для взрослых. При этом ни Anthropic, ни Google не объявляли об отмене своих запретов на сексуальные разговоры с чат-ботами. А гендиректор Microsoft Мустафа Сулейман прямо заявил, что эротика не будет частью его бизнес-плана.
Сейчас исследователи из Стэнфорда работают над официальным документом по итогам встречи, который планируют опубликовать в начале следующего года. В нем они изложат рекомендации по безопасности для ИИ-компаньонов, а также расскажут, как можно улучшить дизайн этих инструментов, чтобы они предлагали ресурсы для психологической помощи и использовались для полезных ролевых сценариев, например, для отработки навыков общения.
Такие дискуссии между экспертами индустрии и учеными, безусловно, полезны. Однако без жесткого государственного регулирования трудно представить, что все компании добровольно согласятся на единый набор стандартов. А значит, в обозримом будущем серьезные опасения по поводу ИИ-компаньонов и скандалы вокруг них никуда не денутся.
Искусственный интеллект – искусственный пузырь? Экономист бьёт тревогу: крах неизбежен
