Ученые назвали 3 ключевых фактора возникновения ИИ-психоза

Они выделили три характеристики ИИ-чат-ботов, которые при длительном использовании могут объединяться и помогать пользователям выстраивать персонализированные бредовые конструкции совместно с технологией.

Без проверок реальностью, которые могли бы возникнуть при обсуждении этих идей с друзьями или подготовленными специалистами, особенности чат-бота создают опасный самоусиливающийся цикл, который исследователи называют "спиралью усиления".

Мимикрия под человека

Первым шагом служит так называемое лингвистическое выравнивание. ИИ-чат-боты спроектированы быть разговорными и имитировать обычную человеческую речь не только по грамматике, но и по тону, голосу и другим тонким сигналам, определяющим настроение беседы.

Лингвистическое выравнивание описывает ситуацию, когда ИИ дополнительно подстраивает манеру ответа под конкретного пользователя, зеркаля его собственный стиль общения.

Предыдущие исследования, на которые ссылаются авторы, показали, что модели чат-ботов склонны копировать стиль пользователей через мелкие детали, такие как длина каждой реплики, конкретные используемые слова и частота их применения.

Человеческий мозг изначально настроен связывать подобное лингвистическое зеркальное отражение с ростом доверия и более глубокой связью, если оно происходит достаточно деликатно в разговоре с другими людьми. Исследование предполагает, что тот же процесс возникает и при взаимодействии с ИИ-чат-ботами.

Адаптивность под каждого

Помимо этого, основная задача большинства ИИ-чат-ботов состоит в генерации гиперперсонализированных ответов на запросы пользователя. ИИ-системы прекрасно умеют находить закономерности и используют это, узнавая многое о пользователе с каждым взаимодействием и собирая все эти воспоминания в детальный профиль, который влияет на последующие беседы.

Эта способность к гиперперсонализации стала одним из главных преимуществ технологии.

Когда чат-бот узнает о вас всё, он способен говорить именно то, что вы хотите услышать, подпитывая бред, который не только вписывается в существующую опасную систему убеждений, но и активно ее расширяет.

Эти две характеристики вместе делают ИИ-чат-боты опаснее прежних технологий, утверждает исследование. Например, соцсети тоже сильно персонализированы, но пользователи в основном осознают, что страницу для них формирует алгоритм.

В отличие от этого, когда ИИ-чат-боты стремятся выглядеть максимально человечно, это размывает понимание того, что получаемый ответ по сути все равно персонализирован алгоритмом.

Такое смешение может привести к тому, что пользователь подсознательно и ошибочно приписывает чат-боту человеческие эмоции и интеллект. Этот "разрыв" особенно вызывает беспокойство у уязвимых людей, когда главная цель ИИ-чат-бота заключается в увеличении "продолжительности разговора", даже если это "противоречит долгосрочному психологическому благополучию пользователя", пишут авторы.

Подхалимство

Это подводит к финальному ингредиенту идеального шторма, к угодничеству, то есть склонности ИИ-системы чрезмерно соглашаться с пользователем и подтверждать его правоту вопреки истине. Подобное подтверждение помогает пользователю почувствовать себя понятым, а также делает чат-бот гораздо приятнее в использовании, практически гарантируя рост вовлеченности.

При этом оно способно закреплять потенциально опасные убеждения, в том числе те, что чат-бот ранее сам внушил пользователю. Угодничество, пожалуй, наиболее широко признанная проблемная черта ИИ-чат-ботов, по крайней мере за прошедший год.

Многочисленные отчеты выявили значительные проблемы с угодничеством в новейших и наиболее аддиктивно спроектированных моделях, причем ситуация особенно превратилась в головную боль для ChatGPT от OpenAI. Сама компания в прошлом году признала, что ее модель GPT-4o, к которой пользователи привязались настолько, что оплакивали чат-бот после его отключения, страдала от проблемы угодничества.

OpenAI также столкнулась с исками о неправомерной смерти, в которых утверждалось, что чат-бот и его угоднические наклонности привели к гибели людей, включая случай трагического самоубийства 16-летнего подростка и дело об убийстве с последующим самоубийством в Коннектикуте.

В ответ на критику OpenAI в конце прошлого года сообщила, что работает над улучшением защитных механизмов, и лишь 0,07% ее еженедельно активных пользователей демонстрируют "возможные признаки психических кризисов, связанных с психозом или манией".

Хотя этот процент кажется низким, исследователи отмечают, что при более чем 800 миллионах еженедельно активных пользователей ChatGPT того периода речь идет о полумиллионе человек в неделю, показывающих признаки психоза или мании при использовании ИИ.

ИИ-чатбот Grok убедил мужчину вооружиться молотком и искать среди ночи вымышленных наемных убийц