ChatGPT научится распознавать пользователей с радикальными взглядами и переключать их на специальных чат-ботов, которые помогут скорректировать мировоззрение. Об этом сообщает Reuters.
ChatGPT будет ловить экстремистов: с подозреваемыми будет общаться специальный ИИ для «перевоспитания»

По данным агентства, инициатива появилась на фоне роста числа судебных разбирательств — компании просто нужно было решать вопросы безопасности. Разрабатывает систему новозеландский стартап ThroughLine, который уже сотрудничает с OpenAI, Anthropic и Google.
Иллюзия правоты: как советы от искусственного интеллекта отучают людей мириться
Википедия против искусственного интеллекта: сервис запретил добавлять статьи, написанные с помощью ИИ

До сих пор ThroughLine занимался другим: если в запросах пользователя появлялись признаки суицидальных мыслей, домашнего насилия или расстройств пищевого поведения — система переключала человека на службы экстренной психологической помощи. Теперь к этому добавится противодействие радикализации.
Партнером стартапа станет организация The Christchurch Call, созданная после страшного теракта в Новой Зеландии в 2019 году. Она занимается борьбой с распространением ненависти в интернете и будет консультировать экспертов при выявлении радикальных запросов. ThroughLine, в свою очередь, разработает чат-бота для оперативного реагирования на такие случаи.
Идея безусловно интересная, но к ней есть много вопросов. Прежде всего: а насколько вообще манипуляции сознанием человека со стороны крупных корпораций оправданы и этичны? Разумеется, пропаганда есть везде, а корпорации итак нами манипулируют с помощью той же рекламы.

Но во-первых, эффективность чат-ботов значительно выше (это доказано экспериментально). А во-вторых, ИИ будет работать с базовыми настройками человека, переписывать его ценности и взгляд, что несколько отличается от банальной рекламы.
Наконец, мы не знаем: а захотят ли разработчики ИИ останавливаться на противодействии экстремизму? В какой момент у них появится желание подкорректировать поведение людей без ярко выраженных деструктивных наклонностей? А после того, как желание появится, как скоро об этом узнает широкая общественность? Насколько быстро человек осознает, что общается не с обычным ChatGPT, а моделью искусственного интеллекта, цель которой вшить в сознание новые ценности?
Тем не менее, других выходов почти нет. Если OpenAI будет информировать власти о каждом подозрительном человеке, органы правопорядка утонут в обращениях. Причем 90% из них будут мусорными — далеко не всегда человек переходит от слов к действиям.
Если же останется прежняя политика, высоки шансы пропустить реального террориста, как уже бывало, когда модерация сервиса просто посчитала, что сообщения от этого человека не носят серьезного характера и обращаться в правоохранительные органы необязательно. Результат — несколько погибших.
