В 2024 году компания Google представила свою флагманскую медицинскую нейросеть Med-Gemini, способную анализировать снимки КТ и писать заключения. Однако уже вскоре в официальной научной статье, посвященной этой модели, была обнаружена серьезная ошибка: искусственный интеллект поставил диагноз на основе несуществующей анатомической структуры мозга, назвав ее «базилярные ганглии» (basilar ganglia).
ИИ нашел у человека несуществующий орган: просто опечатка или опасная ошибка?
Флагманский медицинский ИИ от Google уверенно диагностировал пациента на основе части мозга, которой не существует в природе.
Unsplash
Как сообщает издание The Verge, ошибка, вероятно, возникла из-за того, что ИИ смешал два реальных медицинских термина: basal ganglia (базальные ганглии), группы ядер, отвечающие за моторику и обучение, и basilar artery (базилярная артерия) — крупный кровеносный сосуд у основания мозга.
В результате в статье появился диагноз «инфаркт в левых базилярных ганглиях». Такая ошибка является критичной, поскольку инсульт в зоне базальных ганглиев и в базилярной артерии требует принципиально разного лечения.
Примечательно, что ошибка осталась незамеченной как авторами научной работы, так и рецензентами. Ее обнаружил невролог и исследователь ИИ Брайан Мур, который рассказал о проблеме в соцсети LinkedIn. После этого Google внесла правки в свой блог-пост, посвященный Med-Gemini, но оригинальная научная статья осталась без изменений.
В компании инцидент назвали «распространенной опечаткой» и «частой ошибкой расшифровки», предположив, что неверный термин мог попасть в обучающие данные из реальных медицинских документов, где его допускали сами врачи.
По словам экспертов, этот случай является ярким примером так называемой «галлюцинации» ИИ — явления, при котором модель генерирует убедительную, но ложную информацию. Специалисты отмечают, что главная проблема заключается в том, что нейросети не признаются в незнании, а предпочитают придумать ответ.
Дальнейшее тестирование связанных моделей, таких как MedGemma, показало, что они могут давать абсолютно разные и противоречивые диагнозы на схожие запросы.
«Планка для ИИ должна быть выше, чем для врача-человека, поскольку от него требуется повышенная надежность», — отметил главный специалист информационной системы здравоохранения Providence Маулин Шах.
В медицинском сообществе теперь опасаются, что из-за высокой рабочей нагрузки и доверия к авторитету технологий врачи могут перестать замечать подобные ошибки, что представляет потенциальный риск для пациентов.
Несмотря на инцидент, Google продолжает активно внедрять ИИ в свои продукты. Компания уже запустила функцию Overviews, которая выдает советы по здоровью в поисковой выдаче, и разрабатывает «ИИ-научного ассистента» для исследований новых лекарств.
В то же время специалисты призывают к созданию более надежных систем проверки, включая обязательный человеческий контроль, аудит со стороны экспертов и независимые испытания, прежде чем ИИ будет допущен к широкой клинической практике.