Нейроответы от Google меняют интернет — из-за них падает трафик на сайтах, а пользователи перестают искать информацию самостоятельно, полагаясь на краткую выжимку. Плохо это или хорошо? С точки зрения удобства — замечательно, но реализация нейроответов с каждым днем вызывает все больше вопросов.
Не стоит доверять нейроответам от Google: ИИ путает реальность с хоррор-историями во вселенной SCP
Если увидите в нейроответах истории об аномалиях и монстрах — не удивляйтесь: нейрослоп способен и не на такое.
Unsplash
Так, издание Futurism выяснило, что функция AI Overviews в ряде случаев пересказывала материалы SCP Foundation так, будто речь идет о реальных объектах и научных данных, а не о коллективной интернет-фантастике.
По данным Futurism, журналисты нашли как минимум 20 случаев, когда AI Overviews не обозначали SCP-материалы как вымысел. В результате поисковая сводка могла выглядеть как справка о реально существующем феномене, хотя источником был художественный текст.
Продолжение ниже
Видео
Продолжение
Один из самых показательных примеров связан с SCP-426 — вымышленным тостером, особенность которого в том, что любой человек, говорящий о нем, начинает описывать объект от первого лица. AI Overviews воспроизвел этот прием и выдал ответ в той же манере, фактически включившись в логику литературного объекта, но без ясного предупреждения, что все это часть вымышленной вселенной.
Похожие ошибки Futurism обнаружил и в других запросах. Например, SCP-922, SCP-704 и SCP-779 в сводках описывались как аномальные события или существа, хотя в оригинале это элементы хоррор-лора. В одном случае система пересказывала историю SCP-565 — «Ed’s Head», вымышленной человеческой головы, — со ссылками на якобы ДНК и стоматологические записи, не объясняя, что такие «документы» существуют только внутри художественного текста.
Иногда Google все же использовал слово lore — «лор», то есть внутренняя мифология вымышленной вселенной. Но, как отмечает Futurism, этого недостаточно для неподготовленного пользователя: без прямого пояснения человек может решить, что перед ним странный, но реальный научный или криминалистический отчет.
После публикации Futurism часть запросов уже могла обрабатываться иначе. В некоторых случаях Google AI Mode помечал SCP-объекты как fictional anomaly — «вымышленную аномалию». Это может говорить о частичных исправлениях, однако сама проблема остается шире одного фэндома.
AI Overviews появляются в верхней части поисковой выдачи и часто воспринимаются как готовый ответ. Поэтому ошибка с SCP показывает риск генеративного поиска: система может уверенно пересказать правдоподобно оформленный вымысел, если не распознает жанр и контекст источника.
Собственно, это не первый случай, когда нейроответы генерировали нечто бесполезное, а то и опасное для пользователей. Ранее ИИ давал ненадежные медицинские рекомендации, что стало большой проблемой для десятков и сотен людей. К счастью, на проблему быстро обратили внимание и исправили нейроответы с обновлением.