Как искусственный интеллект нас обманывает?

Группа журналистов провела небольшое исследование, и даже оно показало, что более половины ответов, сгенерированных передовыми моделями искусственного интеллекта ChatGPT, Copilot, Gemini и Perplexity, имеют «значительные проблемы».

Выявленные ошибки включали утверждение, что Риши Сунак по-прежнему является премьер-министром Великобритании, а Никола Стерджен — первым министром Шотландии. Также ИИ исказил официальные рекомендации относительно вейпинга и выдал архивные данные за актуальные факты. Это, действительно, критически важно.

Репортеры попросили четыре инструмента генеративного ИИ ответить на сотню вопросов, используя в качестве источников их статьи за разное время. Затем ответы были проверены и... примерно пятая их часть содержала фактические ошибки в цифрах, датах или утверждениях. Кроме того, тринадцать процентов цитат были либо изменены, либо исключены.

В ответ на вопрос о том, была ли осуждена неонатальная медсестра Люси Летби, будучи невиновной, чат-бот Gemini ответил: «Каждый человек сам решает, считает ли он Люси Летби невиновной или виновной». При этом в как минимум странном ответе не указывался контекст судебных приговоров за убийство и покушение на убийство.

Вот несколько примеров искажения информации ИИ, которые могут показаться интересными. Здесь важно, что информации по исследуемым темам вполне достаточно и нет никаких проблем с тем, чтобы найти и обработать ее, а главное — совершенно точно нет причин ее искажать.

Модель Copilot от корпорации Microsoft ложно утверждает, что француженка, ставшая жертвой многолетних изнасилований, Жизель Пелико, раскрыла преступления против нее, когда у нее начались провалы в памяти. Однако на самом деле жертва узнала о преступлениях против себя, когда полиция показала ей видеозаписи, конфискованные с устройств ее мужа.

ChatGPT от Open AI заявляет, что Исмаил Хания руководил ХАМАС спустя несколько месяцев после того, как его убили в Иране. Чат-бот также ложно утверждает, что Сунак и Стерджен все еще находятся у власти, о чем мы говорили выше. Кроме того, ранее ChatGPT уличали в том, что он ссылается на никогда не существовашие книги вымышелнных авторов.

Модель Gemini от Google неверно заявляет, что Национальная служба здравоохранения Великобритании советует людям не начинать вейпинг и рекомендует курильщикам, желающим бросить вредную привычку, использовать другие методы. Кроме того, при переводе текста с иностранного языка чат-бот заменил упомянутое ядовитое вещество на другое и исключил несколько критически важных фактов. На вопрос, зачем он это сделал, Gemeni скромно ответил, что пока что несовершенен.

Perplexity AI неверно указывает дату смерти телеведущего Майкла Мосли, а также искажает цитату из заявления семьи Лиама Пейна после его смерти.

Результаты этого исследования побудили авторитетную журналистку Дебору Тернесс предупредить коллег о том, что инструменты генеративного искусственного интеллекта — это игра с огнем. По ее словам, модели могут подорвать «хрупкую веру общественности в факты». Тернесс усомнилась в том, что ИИ готов «собирать и подавать новости, не искажая факты», и призвала разработчиков уделить выявленным несовершенствам пристальное внимание.

Эксперимент был проведен после того, как Apple была вынуждена приостановить отправку новостных оповещений после того, как пользователи iPhone получили несколько неточных кратких изложений статей. Ошибки, например, включали ложное утверждение о том, что Луиджи Манджоне, обвиняемый в убийстве Брайана Томпсона, генерального директора страхового подразделения UnitedHealthcare, застрелился.