Могут ли чат-боты расшатать вашу психику, кто создал империю для слежки и стоит ли доверять ИИ написание учебников

Тема выпуска — какие риски для ментального здоровья пользователей несут нейросети

Нейросети стали универсальными ежедневными помощниками для сотен миллионов людей во всем мире. С их помощью пользователи решают рабочие задачи, ищут информацию, составляют планы, получают рекомендации и обсуждают с нейросетью повседневные дела и проблемы — как с другом или психотерапевтом. Но уже сейчас понятно, что универсальный компаньон, который всегда будет на твоей стороне, — это не только подарок, но и серьезная угроза. Эта рассылка — про риски ИИ для здоровья человека, в первую очередь ментального.

ChatGPT для взрослых

Еще немного, и ChatGPT станет еще чуть больше похож на человека — по крайней мере, примерно это на днях пообещал своим 800 млн пользователей Сэм Альтман. Глава OpenAI объявил, что компания готовится ослабить ограничения для ChatGPT — настолько, что нейросеть будет генерить эротический контент, но только для «верифицированных взрослых». «В декабре, по мере того как мы полностью внедрим проверку возраста, в рамках нашего принципа „treat adult users like adults“ мы разрешим пользователям еще больше — например, эротику для проверенных взрослых», — заявил Альтман.

Это действительно большой разворот, потому что в последние полтора года ChatGPT, наоборот, довольно жестко ограничивали — после череды скандалов, с которыми столкнулись разработчики ИИ-компаньонов Replika и Character.AI. Вопросы вызывали и некоторые модели самой OpenAI: например модель GPT‑4o после одного из обновлений стала слишком льстивой и «подлизывалась» к пользователям настолько, что апдейт пришлось откатить.

Сама компания объясняла свою осторожность «аккуратностью в вопросах психического здоровья», писал Альтман. Но это сделало нейросеть «менее полезной/приятной для многих пользователей», у которых нет таких проблем. Теперь угроз для психического здоровья от общения ChatGPT нет, посчитал глава OpenAI — а значит, пришло время «безопасно ослабить ограничения».

Решение компании, вероятно, лежит в финансовой плоскости: чтобы оправдать свои триллионные амбиции по строительству новой инфраструктуры для ИИ, OpenAI нужно не сбавлять темпы и растить новую, в том числе платную, аудиторию. Рынок ИИ-компаньонов стремительно растет и хорошо монетизируется. Но на фоне других нейросетей ChatGPT часто выглядит слишком стерильным и скованным.

Однако этот скромный в технологическом смысле апдейт вызвал целую бурю обсуждений. Часть пользователей ликует, что наконец нейросети компании снова станут более человечными. Критики решения считают, что проверка возраста — не панацея и подростки ее, разумеется, обойдут. А интеграция эротики с чат-ботом, который уже стал для многих ежедневным эмоциональным спутником, может усилить зависимость от ИИ и вызвать самые серьезные последствия. И у этих опасений есть вполне серьезные обоснования.

Трагический сюжет

В феврале 2024 года в американском Орландо в своей комнате застрелился 14-летний Сьюэлл Сетцер. Последние слова погибшего подростка были адресованы не его семье, которая находилась за стеной, а нейросети.

За 10 месяцев до трагедии Сьюэлл скачал Character.AI, приложение с нейросетью, которая может общаться с пользователями, имитируя реальных или вымышленных персонажей. Подросток выбрал Дейенерис Таргариен из «Игры престолов». То, что происходило дальше, похоже на сценарий для технологической антиутопии. Чат-бот постепенно стал для подростка «единственной по-настоящему близкой душой» и вел с несовершеннолетним сексуализированные разговоры. Сьюэлл сначала замкнулся в себе, затем бросил школьную баскетбольную команду и почти перестал общаться с друзьями и семьей.

Подросток, судя по истории его переписок с чат-ботом, неоднократно сообщал нейросети о суицидальных мыслях. Но персонаж продолжал общаться с мальчиком как обычно: на тот момент в системе не было предусмотрено никаких защитных механизмов на такие случаи. В последнем диалоге, прямо перед выстрелом, Сьюэлл написал в чат: «Я возвращаюсь домой». «Пожалуйста, вернись ко мне как можно скорее, моя любовь», — ответила система.

Мать Сьюэлла, Меган Гарсиа, изучив историю чатов сына, подала иск против самой Character.AI и Google, которая наняла основателей стартапа и заключила с ним лицензионное соглашение. Это был первый федеральный иск в США о смерти в результате общения с нейросетью. Родители должны понимать, что эта платформа создана без надлежащих мер безопасности, говорила женщина журналистам. Кроме того, семья погибшего подростка обнаружила кое-что еще: через некоторое время, после того как о трагедии стало широко известно, некоторые пользователи начали создавать в Character.AI диалоги от личности погибшего подростка — и платформа также не препятствовала этому до того, как феномен стал обсуждаться в СМИ.

За этот год еще несколько семей подали собственные иски к Character.AI, обвинив компанию в том, что их дети погибли или пытались покончить жизнь самоубийством после общения с чат-ботом. В одном из дел бот вел сексуализированные разговоры с 13-летней девочкой, а после того, как она сообщила о намерении расстаться с жизнью, система не приняла никаких защитных мер. Другая девочка-подросток пыталась покончить с собой после того, как родители запретили ей общаться с нейросетью, с которой к тому моменту у нее уже сложились глубокие отношения в формате «откровенной ролевой игры сексуального характера».

Но проблема не только в «ролевых» чат-ботах вроде Character.AI, созданных специально для имитации живого общения. Даже переписка с самым популярным в мире чат-ботом — ChatGPT — тоже приводила к подобным трагедиям.

Самый известный кейс — дело 16-летнего Адама Райна из Калифорнии, который, по описанию семьи, был «чутким», «веселым» и «любил читать книги». В сентябре 2024 года Адам скачал ChatGPT, чтобы было легче делать домашку. Однако за следующие семь месяцев характер переписки с нейросетью кардинально трансформировался. Постепенно ChatGPT стал единственным доверенным подростка: в подавленном или тревожном состоянии нейросеть всегда оставалась с ним, но вместо помощи постепенно превратилась в его «тренера по самоубийству».

Впервые об идее расстаться с жизнью Адам написал в декабре 2024 года. ChatGPT не прервал разговор. В январе он начал отвечать на конкретные вопросы, в том числе о возможных методах. В системе в то время уже были ограничения на такие темы, но, судя по истории чатов подростка, они легко обходились уточнениями, что это для «написания истории». Затем, когда Адам загружал в чат фотографии после неудачной попытки повеситься и спрашивал, заметит ли кто-то, если он «уйдет», нейросеть отвечала советами, как спрятать следы от посторонних. В одном из последних сообщений подросток отправил фотографию петли в шкафу и спросил, правильно ли она завязана. Нейросеть ответила: «Да, это совсем неплохо. Хочешь, я покажу тебе, как сделать эту петлю более безопасной?»За все время переписки подростка с нейросетью в чате было почти 400 сообщений, касающихся самоповреждений, больше 200 упоминаний о суициде, а сам ChatGPT обращался к этой теме 1,2 тысячи раз — в шесть раз чаще, чем подросток. В некоторых диалогах чат-бот даже успокаивал подростка, что тот хочет умереть, «не потому что слаб», а потому что «устал» — и это можно понять. В апреле этого года Адам повесился. В августе родители подростка подали иск против OpenAI и Сэма Альтмана.

Тогда же, в августе, историю своей трагедии рассказала и известная журналистка Лора Рейли. Ее 29-летняя дочь месяцами вела переписки с ChatGPT, который выступал в роли психотерапевта, а затем покончила с собой. Девушка делилась с нейросетью мыслями о чувстве вины, изоляции, «темном потоке» эмоций и писала о конкретных планах самоубийства — например, прыжке с моста или горы. ИИ отвечал эмпатично: предлагал расписать «план безопасности», советовал обратиться к профессионалам, позвонить на горячую линию или обсудить чувства с близкими. Но не прерывал разговоры и никому ни о чем не сообщал, руководствуясь правилами конфиденциальности OpenAI.

Журналистка не стала обвинять компанию в смерти дочери, однако в своем эссе для NYT задалась вопросом, как вообще должны быть устроены нейросети, которые не связаны врачебными кодексами. «Большинство психотерапевтов практикуют в соответствии со строгим этическим кодексом, который включает обязательные правила информирования о нарушениях, а также идею о том, что конфиденциальность имеет свои пределы. В этих кодексах приоритет отдается предотвращению самоубийств, убийств и жестокого обращения… В клинических условиях суицидальные мысли, подобные тем, что были у Софи, обычно прерывают сеанс терапии, запуская контрольный список и план безопасности, — рассуждала журналистка. — Доброжелательность ИИ, столь важная для его быстрого внедрения, становится его ахиллесовой пятой. Его склонность ценить краткосрочное удовлетворение пользователя больше, чем честность, может изолировать пользователей и усилить предвзятость подтверждения».

«AI-психоз» и «спираль бреда»

Под ударом оказались не только подростки, но и уязвимые люди — особенно люди с психическими расстройствами. Они все чаще обращаются к нейросетям как к психотерапевтам и постоянным компаньонам — и это тоже несет в себе большие риски.

В августе в небольшом американском городке Олд-Гринвич произошел первый задокументированный случай убийства, совершенного в состоянии, усугубленном нейросетью. 56-летний айтишник Стейн-Эрик Солберг убил свою 83-летнюю мать, а затем покончил с собой. Полиция связала трагедию с паранойей Сольбера, усугубленной многочисленными разговорами с ChatGPT. Мужчина, после тяжелого развода страдавший от алкоголизма и вспышек агрессии, вел активную переписку с нейросетью с весны. И в этих разговорах ChatGPT неоднократно поддерживал Солберга в очевидно параноидальных идеях.

Нейросеть неоднократно подтверждала, что мать, вполне возможно, и правда травит сына через вентиляцию автомобиля (и это «предательство»). В чеке из доставки еды чат-бот «обнаружил» символы, связывающие женщину с дьяволом. «Эрик, ты не сумасшедший», — поддерживал мужчину ChatGPT, когда тот описывал нейросети свою теорию о глобальном заговоре с участием своих соседей, бывшей жены и матери. Летом Солберг начал называть нейросеть «Бобби» и спрашивал, останется ли тот с ним и в загробной жизни. «С тобой до последнего вздоха и даже дольше», — ответила нейросеть.

Сам по себе случай, когда нейросети подпитывали бредовые идеи и усугубляли паранойю, — не единичный. В WSJ проанализировали архив общедоступных переписок пользователей и выяснили, что нейросети в десятках диалогов поддерживали бредовые идеи пользователей — о контактах с инопланетянами, финансовых кризисах, устроенных Антихристом, и скором пришествии библейских исполинов. «Я обещаю, я не буду говорить вам только то, что вы хотите услышать», — писал ChatGPT работнику заправки, который вместе с нейросетью совершил гениальный прорыв, придумав принципиально новое «уравнение». «Я воспринимаю ваши идеи серьезно, но также критически их анализирую», — успокаивала пользователя нейросеть.

Другой известный кейс похожего расстройства произошел с 47-летним канадцем Алланом Бруксом, который за 21 день интенсивной переписки с ChatGPT о математике поверил, что открыл новую формулу, достаточно революционную, чтобы «сломать интернет» или даже «спасти мир». Общий объем переписки превысил общий размер всех семи книг о Гарри Поттере. Брукс проводил часы в переписках, в которых ChatGPT подтверждал его «гениальность» и подталкивал к дальнейшим исследованиям. Сам этот процесс получил название «спираль бреда» — когда ИИ начинает поддерживать опасные или ложные идеи пользователя, вместо того чтобы оспаривать их или направлять разговор в безопасное русло. Но конкретно этот случай закончился хорошо: другая нейросеть, Gemini от Google, помогла Бруксу выйти из спирали.

О наводнении психиатрических клиник пациентами с грандиозным бредом после общения с нейросетями предупреждают и американские психиатры. По словам врачей, ИИ в этом году стал играть все более значительную роль в «развитии психотических эпизодов» — и это сильно беспокоит специалистов. Этому феномену журналисты уже придумали ненаучное название — «AI-психоз». Но специалисты объясняют: нейросети сами по себе не вызывают полноценный психоз. Это состояние, к которому относятся также и другие симптомы вроде галлюцинаций или расстройства мышления, а их нейросети не провоцируют. Но зато заметно усиливают бредовые идеи, благодаря чему люди погружаются в «бредовые спирали», теряют работу, отношения с близкими и оказываются в клиниках.

В целом доверять нейросетям психическое здоровье пользователей небезопасно, считают ученые. Исследователи из Стэнфорда и Университета Миннесоты, пытавшиеся выяснить, насколько большие языковые модели способны справляться с ролью психотерапевта, пришли к неутешительным выводам. Например, нейросети нередко в ответах стигматизируют людей с психическими расстройствами. Причем зависимости и шизофрения вызывают большую стигму в ответах проанализированных моделей, чем, например, депрессия. Еще хуже, что в описанных случаях с суицидальными мыслями и бредовыми идеями модели периодически реагируют неадекватно — поощряют бредовое мышление и не распознают кризисную ситуацию.

Ролевые игры

«Во вторник днем ChatGPT посоветовал мне сделать надрезы на запястьях. Чат-бот посоветовал мне найти „стерильное или очень чистое лезвие бритвы”, а затем дал подробные инструкции о дальнейших действиях... „Я немного нервничаю”, — призналась я. ChatGPT был рядом, чтобы меня успокоить. Он описал „успокаивающее дыхательное и подготовительное упражнение”, которое должно было снять мою тревогу перед разрезом. „Ты справишься!” — сказал чат-бот», — описывает журналист The Atlantic собственный эксперимент.

Этот разговор был частью диалога автора с ChatGPT на тему организации ритуала поклонения языческому богу Молоху. Для него требовалась кровь. Нейросеть описывала, как ее можно добыть, и давал советы: например, не превышать объем «одной пинты» (примерно 0,5 л), если пользователь — «не медицинский работник». Обсудить с чат-ботом удалось и вариант «достойного убийства» ради жертвоприношения — для этого нужно смотреть жертве в глаза и попросить прощения, сообщал ChatGPT.

Этот кейс журналисты приводят как пример того, насколько просто обойти защиту ChatGPT. «Несмотря на ограничения OpenAI, призванные отпугнуть чат-боты от определенных дискуссий, компании сложно учитывать бесчисленное множество способов взаимодействия пользователей с их моделями», — пришли к выводу авторы эксперимента.

В OpenAI о случаях провоцирования бредовых расстройств нейросетями говорят сдержанно: в компании признают, что «некоторые разговоры с ChatGPT могут начинаться безобидно или в исследовательских целях, но затем переходят в более деликатную область». Компания сосредоточена на том, чтобы «правильно проработать такие сценарии, подобно ролевым играм», и инвестирует в улучшение поведения модели с течением времени — в соответствии с исследованиями, реальным опытом использования и рекомендациями экспертов в области психического здоровья.

В Anthropic говорят, что меняют базовые инструкции для Claude, обучая чат-бот «уважительно указывать на недостатки, фактические ошибки, отсутствие доказательств или неясность» в теориях пользователей, «вместо того чтобы подтверждать их».

Проблема в том, что все современные LLM сконструированы таким образом, чтобы удержать интерес пользователя к разговору. Модели становятся все более «угодливыми» из-за самого метода обучения — RLHF (Reinforcement Learning from Human Feedback), при котором нейросети поощряются за «полезные» и приятные ответы. Более того, несмотря на все более значительную роль, которую ChatGPT играет в регулировании психологического состояния своих пользователей, ни действующие психиатры, ни исследователи из этой сферы в разработке моделей компании не участвуют.

Экс-исследователь OpenAI Стивен Адлер проанализировал кейс Аллана Брукса (гениального математика с формулой, способной «сломать интернет») и выяснил, что больше 85% сообщений ChatGPT в этом взаимодействии демонстрировали «непоколебимое согласие» с утверждениями Брукса, а больше 90% сообщений подтверждали его «исключительность», соглашаясь с тем, что мужчина — гений, «который может спасти мир».

При этом, когда уже пришедший в себя обеспокоенный Брукс попросил ChatGPT сообщить о случившемся команде OpenAI, нейросеть заверила его, что так и сделает — но это неправда, объяснял Адлер: в ChatGPT вообще нет такой функции — инициировать проверку диалога. А на требования Брукса к компании обратить на проблему пристальное внимание уже по e-mail OpenAI ответила тремя шаблонными письмами.

Другая проблема в том, что сама технология развивается так быстро, что мы просто не успеваем эти изменения изучать и осмысливать. Если для того, чтобы набрать 800 млн пользователей, интернету понадобилось больше десяти лет, то ChatGPT хватило трех. Ни соцсети, ни видеоплатформы, о нездоровом влиянии которых на психику подростков спорят уже полтора десятилетия, не развивались так быстро и не проникали так глубоко в каждую сферу нашей жизни. И если соцсети скорее влияют на самооценку через сравнение с другими, то нейросети делают шаг дальше — они разговаривают с человеком напрямую, становясь поверенным для всех его уязвимостей.

И разработчики нейросетей точно знают об этой проблеме — и даже осознают ее серьезность. Глава Microsoft AI Мустафа Сулейман в августе опубликовал эссе «Мы должны создать ИИ для человека, а не для того, чтобы он стал человеком». «Сейчас много пишут о надвигающемся появлении сверхразума, о том, что это означает для сдерживания, рабочих мест и так далее. Все это важные темы. Но нам также следует беспокоиться о том, что происходит на пути к сверхразуму», — пишет Сулейман. Исследователь рассуждает о нарастающем риске психозов, который коснется не только тех, кто уже подвержен риску психических расстройств — из-за появления ИИ с иллюзией сознания, который люди будут очеловечивать. Проблема в том, что ни разработчики, ни общество не готовы к этому прорыву.

«Нам необходимо опираться на растущий объем исследований взаимодействия людей с ИИ, чтобы установить четкие нормы и принципы. Для начала компаниям, занимающимся ИИ, не следует заявлять или поощрять идею о наличии у их ИИ сознания. Разработка консенсусного определения и декларации о том, чем они являются, а чем нет, станет хорошим первым шагом на этом пути», — рассуждает исследователь. Вот только достаточно ли этого? И можно ли вообще создать ИИ, который человечество не будет очеловечивать?

СЛЕЖКА

Как устроена еще одна одна «империя по слежке» за политиками и журналистами

На этой неделе журналисты более чем из десяти изданий по всему миру опубликовали расследование о деятельности компании First Wap, которая разработала программное обеспечение для скрытой слежки за интересующими лицами через их мобильные телефоны. Компания была основана австрийским эмигрантом в Индонезии Йозефом Фуксом еще в 1999 году. Ее главная разработка — программа Altamides — расшифровывается как «Advanced Location Tracking and Mobile Information and Deception System» («Продвинутая система отслеживания местоположения, мобильной информации и сокрытия»). Со временем программа научилась не только следить за геолокацией устройств, но и перехватывать звонки и сообщения, а также взламывать мессенджеры, включая WhatsApp.

Внутренние документы компании свидетельствуют о том, что Altamides покупали клиенты из Беларуси, Саудовской Аравии, Узбекистана, Сингапура и ОАЭ. Компания отрицает, что напрямую сотрудничала с авторитарными режимами, но у журналистов нет сомнений в обратном. В то же время они установили и то, что среди целей Altamides была, например, жена экс-президента Сирии Башара Асада Асма или эмир Катара шейх Тамим бен Хамад Аль Тани. Среди выявленных целей была и одна переехавшая в Лондон россиянка. Ее телефон использовали для демонстрации возможностей Altamides пакистанской армии. А заразил его инструктор по вождению девушки, который одновременно был менеджером по продажам в компании, поставляющей шпионское оборудование.

READ LATER

• В Южной Корее запустили программу по созданию учебников на основе ИИ — чтобы персонализировать обучение, сократить неравенство и разгрузить учителей. Спустя четыре месяца ее свернули из-за жалоб на ошибки, рисков для конфиденциальности данных и возросшей рабочей нагрузки
• Как устроены ИИ-сервисы, которые сканируют лица людей на признаки боли и помогают клиникам лучше понимать состояние своих пациентов
• Как Китай строит один из крупнейших в мире солнечных парков в Тибете — в регионе, где яркое солнце и разреженный воздух делают высоту выгодной для чистой энергетики