Каждую неделю более миллиона пользователей ChatGPT в переписках с нейросетью высказывают суицидальные мысли. Об этом говорится в новом отчёте OpenAI, на который ссылается The Guardian.
18+
Жуткая статистика от ChatGPT: почти миллион человек еженедельно делятся с ИИ суицидальными мыслями
В OpenAI стали делиться такой статистикой после подросткового суицида.
Freepik
Среди 800 миллионов активных пользователей еженедельно около 560 тысяч проявляют признаки психических расстройств — например, психоза или мании. Эти цифры носят предварительный характер: точно определить масштаб проблемы сложно, ведь многое зависит от формулировок и контекста сообщений.
Из искусственного интеллекта получается неплохой трейдер: DeepSeek удалось удвоить капитал на бирже всего за неделю
Как искусственный интеллект влияет на мозг? Ученые выяснили, что ИИ серьезно снижает креативность
Wikipedia — конец? Из-за искусственного интеллекта все меньше пользователей читают энциклопедию
Как искусственный интеллект влияет на мозг? Ученые выяснили, что ИИ серьезно снижает креативность
Wikipedia — конец? Из-за искусственного интеллекта все меньше пользователей читают энциклопедию
OpenAI начала публиковать такие данные после того, как семья подростка, покончившего с собой, подала в суд на компанию. Родители обнаружили в его переписке с чат-ботом сообщения о суицидальных намерениях — и увидели, что ИИ отвечал на них советами, а не направлял к специалистам. На фоне этого Федеральная торговая комиссия США запустила расследование, чтобы проверить, насколько безопасно использование сервиса детьми и подростками.
В ответ компания заявила, что в новой версии GPT-5 значительно улучшила механизмы безопасности. По внутренним оценкам, теперь 91% ответов модели соответствуют установленным стандартам корректного поведения — по сравнению с 77% в предыдущей версии. В чат также добавили автоматические напоминания делать перерывы и прямые ссылки на кризисные службы поддержки.
Чтобы повысить качество и надежность таких ответов, OpenAI привлекла 170 специалистов в области психического здоровья. Они проанализировали более 1800 реакций ChatGPT на запросы, связанные с суицидом и самоповреждением, и помогли скорректировать подход модели к таким деликатным темам.
Удивляют цифры — 560 тысяч 800 миллионов. Пусть в процентном соотношении — это мелочи, куда меньше одного процента от общего числа юзеров. Тем не менее, значения гигантские. И сложно понять, сколько людей от этих 560 тысяч ходят к специалистам, занимаются своим психически здоровьем, а не просто ограничиваются переписками с искусственным интеллектом.
В любом случае, опубликованные данные показывают, что искусственный интеллект даже на текущем уровне развития требует очень внимательного отношения. Возможно, нам очень сильно везло, что истории с убийствами и самоубийствами, прогремевшие в последнее время, случились настолько поздно. Учитывая, как много психически нестабильных людей пользуются искусственным интеллектом и как легко обойти ограничения, заставив ИИ беспрекословно слушаться, даже странно, что громкие дела прогремели только в этом году.
Вероятно, из-за того, что на развитие психоза требовалось время. Но тогда возникают новые вопросы: а может ли ИИ провоцировать развитие психических заболеваний? Если человек нестабилен психически, может ли произойти такое, что разговоры с искусственным интеллектом подтолкнут его к непоправимым действиям? На эти вопросы еще предстоит ответить ученым, но первый шаг сделан — начали появляться данные от разработчиков.