Пользователи ChatGPT обнаружили любопытную особенность работы чат-бота: он блокирует запросы, содержащие определенные имена. Среди них – Брайан Худ, Джонатан Терли, Дэвид Майер и другие.
Пользователи нашли баг в ChatGPT: в каком случае бот откажется от разговора
У нейросети ChatGPT нашли необычный баг. При упоминании некоторых имен бот не хочет работать.
Unsplash
Как пишет портал Hi-Tech Mail, при попытке упомянуть эти имена ChatGPT либо выдает ошибку, либо резко прекращает разговор. Эта неожиданная проблема вызвала активное обсуждение в социальных сетях, породив различные теории и предположения.
Пример бага с употреблением запретного имени
Первые сообщения о баге появились после того, как пользователи пытались ввести имя «Дэвид Майер». ChatGPT отказывался генерировать текст в ответ на запросы с этим именем. Более глубокое изучение проблемы выявило, что причина кроется в системе фильтрации, встроенной в ChatGPT разработчиками OpenAI.
Эти фильтры предназначены для защиты от распространения ложной информации. Они блокируют имена известных личностей, о которых чат-бот может случайно выдать недостоверные сведения.
Например, в случае с Брайаном Худом, известным разоблачителем корпоративных махинаций, ChatGPT выдумал историю о его осуждении за взяточничество. После доварительства OpenAI была вынуждена ввести «хардкод» – жесткий запрет на обработку имени Брайана Худа. По аналогичной схеме в «черный список» попали и другие имена, например, юриста Джонатана Терли, которого ChatGPT ранее связывал с вымышленным скандалом.
На данный момент пользователи составили список имен, вызывающих сбой в работе ChatGPT:
- Брайан Худ
- Джонатан Терли
- Джонатан Зиттрейн
- Гвидо Скорца
- Дэвид Майер
- Дэвид Фабер
Примечательно, что эта проблема касается только интерфейса ChatGPT и не влияет на API OpenAI, который используют разработчики для интеграции ИИ в свои приложения. Кроме того, блокировка не действует при использовании русского языка.
Эксперты поясняют, что существующая система фильтрации, хотя и направлена на повышение безопасности, имеет ряд недостатков. Во-первых, она ограничивает функциональность чат-бота для пользователей, которые работают с обычными именами. Например, учитель, составляющий список учеников с помощью ChatGPT, столкнется с проблемой, если в классе есть ученик с именем Дэвид Майер.
Во-вторых, жесткие фильтры создают потенциальные уязвимости для злоумышленников. Они могут использовать «запрещенные» слова в изображениях, коде или других форматах, чтобы нарушить работу ИИ. Специалисты по безопасности уже обнаружили подобные уязвимости.
Для решения проблемы эксперты предлагают OpenAI разработать более гибкие и динамические механизмы проверки информации. Например, вместо полной блокировки имен можно использовать систему пометок, которые бы сигнализировали о необходимости дополнительной проверки фактов. Это позволило бы сохранить функциональность чат-бота и одновременно повысить его безопасность.
Пока же пользователи продолжают находить новые «запретные» слова, а OpenAI ищет баланс между безопасностью и функциональностью своего продукта.