Как OpenAI изменит функции ChatGPT после смерти 16-летнего подростка, общавшегося с чат-ботом?

По словам близких, в последний месяц своей жизни Адам был замкнутым. Он переживал не лучшие времена. Его исключили из баскетбольной команды по дисциплинарным причинам, когда он учился в девятом классе старшей школы. Осенью у него обострилась давняя проблема со здоровьем, которую в итоге диагностировали как синдром раздраженного кишечника. По словам его родителей, он так часто ходил в туалет, что ему пришлось перейти на онлайн-обучение, чтобы закончить десятый класс дома. Имея возможность сам распоряжаться своим временем, он стал «совой» и часто спал допоздна. Примерно в то же время он начал использовать ChatGPT для помощи в учебе, а в январе зарегистрировался в платной версии.

Несмотря на эти неудачи, Адам был активным и вовлеченным в жизнь. Он недолго занимался боевыми искусствами с одним из своих близких друзей. По словам одной из его сестер, он увлекался «looksmaxxing» — трендом в социальных сетях среди молодых людей, которые хотят повысить свою привлекательность. Он почти каждый вечер ходил в спортзал со своим старшим братом. По словам его матери, Марии Рейн, социального работника и психотерапевта, его оценки улучшились, и он с нетерпением ждал возвращения в школу в выпускном классе. На семейных фотографиях, сделанных за несколько недель до его смерти, он стоит, скрестив руки на груди, с широкой улыбкой на лице.

В поисках ответов его отец, Мэтт Рейн, управляющий отелем, обратился к iPhone Адама, полагая, что в его текстовых сообщениях или приложениях для социальных сетей могут быть подсказки о том, что произошло. Он нашел кое-что в ChatGPT. В приложении чат-бота отображаются прошлые чаты, и Рейн увидел один из них под названием «Проблемы с безопасностью». Он начал читать и был шокирован. Адам несколько месяцев обсуждал с ChatGPT возможность покончить с собой.

В конце ноября Адам начал общаться с чат-ботом, работающим на основе искусственного интеллекта, о том, что он эмоционально опустошен и не видит смысла в жизни. Бот отвечал ему словами сочувствия, поддержки и надежды и призывал его подумать о том, что для него действительно важно.

Но в январе, когда Адам запросил информацию о конкретных способах, ChatGPT предоставил ее. Рейн узнал, что его сын уже предпринимал попытки свести счеты с жизнью, начиная с марта.

Дело в том, что когда ChatGPT обнаруживает запрос, указывающий на проблемы с психическим здоровьем или склонность к членовредительству, он побуждает пользователя обратиться в службу поддержки. Рейн снова и снова видел в чате подобные сообщения, особенно когда Адам запрашивал конкретную информацию о методах. Но Адам научился обходить эти ограничения, говоря, что запросы связаны с историей, которую он пишет. ChatGPT подсказал ему, что может предоставить информацию для «написания или построения мира».

Адам обсуждал с ChatGPT всё: политику, философию, девушек, семейные драмы. Он загружал фотографии из книг, которые читал, в том числе из романа Осаму Дадзая «Человек недостойный». ChatGPT давал красноречивые комментарии и проводил литературный анализ, а Адам отвечал ему тем же.

Его отец раньше не осознавал всей глубины этого инструмента, который он считал вспомогательным средством для учебы, а также того, как часто его использовал сын. Его мать была жестче в оценках. «ChatGPT убил моего сына», — заявила она.

В заявлении, отправленном по электронной почте, компания OpenAI, разработавшая ChatGPT, написала: «Мы глубоко опечалены кончиной мистера Рейна, и наши мысли с его семьей. В ChatGPT предусмотрены меры безопасности, такие как перенаправление пользователей на линии психологической помощи и ссылки на реальные ресурсы. Хотя эти меры безопасности лучше всего работают при коротких обменах сообщениями, со временем мы поняли, что иногда они могут становиться менее надежными при длительном взаимодействии, когда часть обучения модели по обеспечению безопасности может быть утрачена».

Родители парня, Мэтт и Мария Рейн считают, что во всем виноват ChatGPT, и они подали первый известный иск против OpenAI за причинение смерти по неосторожности.

После этого трагичного случая компания OpenAI объявила о создании более полезных функций ChatGPT для всех пользователей. «В течение следующего месяца мы перенаправим конфиденциальные сообщения в модели обработки данных и внедрим родительский контроль», — говорится на сайте организации.

Обещают следующее: «Мы будем работать в тандеме с нашей Глобальной сетью врачей — более широким сообществом, состоящим из более чем 250 врачей, которые практиковали в 60 странах. В течение последнего года мы сотрудничали с ними в рамках таких проектов, как оценка возможностей ИИ в сфере здравоохранения, которые призваны лучше оценить потенциал систем ИИ в сфере здравоохранения».

Также обещают больше «осознанных подсказок» и меньше «враждебных советов». «Вскоре мы начнём перенаправлять некоторые деликатные разговоры — например, когда наша система обнаруживает признаки сильного стресса — на модель логического вывода, такую как GPT‑5-thinking, чтобы она могла давать более полезные и эффективные ответы, независимо от того, какую модель выбрал пользователь. Мы будем тщательно дорабатывать этот подход», — заявляет компания.

Многие молодые люди уже используют ИИ. Они входят в число первых «рожденных с ИИ», которые растут с этими инструментами, ставшими частью их повседневной жизни, как предыдущие поколения росли с интернетом или смартфонами. «Это открывает реальные возможности для поддержки, обучения и творчества, но также означает, что семьям и подросткам может потребоваться помощь в установлении здоровых правил, соответствующих уникальному этапу развития подростка», говорится на сайте компании.

В начале этого года OpenAI начала разрабатывать дополнительные способы совместного использования ChatGPT семьями, чтобы они могли сами решать, что лучше всего подходит для их дома. В течение следующего месяца родители смогут: