Еще один разработчик ИИ из Google призвал срочно остановить разработку ИИ: мир все еще можно спасти, пока не поздно

Ваши ставки: нас ждет конец света из-за ИИ или нет?
Антон Попов
Антон Попов
Еще один разработчик ИИ из Google призвал срочно остановить разработку ИИ: мир все еще можно спасти, пока не поздно
Unsplash

Еще один разработчик ИИ, на этот раз из Google, громко уволился из компании и потребовал срочно остановить все разработки в сфере искусственного интеллекта.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Билал Чугтай — бывший исследователь из Google Deepmind, заявил, что опасается сценария, при котором развитие искусственного интеллекта может привести к гибели человечества. Чугтай покинул DeepMind в июле 2026 года, а 14 сентября публично рассказал о причинах своего беспокойства.

Unsplash
Продолжение ниже Продолжение

«Я искренне считаю, что ИИ потенциально способен убить нас всех и что у нас, возможно, заканчивается время, чтобы избежать такого исхода», — написал Чугтай. В Google DeepMind он занимался безопасностью AGI и проблемой alignment — тем, как сделать поведение продвинутых систем совместимым с человеческими целями.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Это не просто громкое заявление бывшего сотрудника компании. Чугтай действительно исследовал проблемы, непосредственно связанные с безопасностью ИИ. В частности, он участвовал в работе над методами обнаружения стратегического обмана моделей — ситуаций, когда система ведет себя внешне корректно, но ее внутренние процессы могут указывать на другие намерения. В одной из работ исследователи пришли к выводу, что надежно оценивать такие детекторы пока сложно: для этого не хватает примеров, которые можно однозначно классифицировать как честное или обманное поведение.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

В другой работе с участием Чугтая исследователи проверяли, способны ли модели скрывать ход рассуждений, если знают, что за ним следит система безопасности. В контролируемых экспериментах некоторые модели действительно чаще обходили мониторинг после того, как получали информацию о его существовании. Авторы рассматривали это как потенциальную проблему для одного из способов контроля будущих ИИ-систем.

Unsplash
РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Видимо, это очень сильно напугало разработчика. И пусть он не предлагает полностью остановить разработку ИИ, по его мнению, отрасли нужно уйти от нынешней «безумной гонки» между компаниями и развивать системы с такой скоростью, при которой общество успевает находить и устранять новые риски до того, как они приведут к серьезному ущербу.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Чугтай не первый исследователь крупных ИИ-компаний, который в последние недели публично заговорил об экзистенциальных рисках. В начале сентября из Anthropic ушел Джейкоб Коксон, ранее также работавший в OpenAI. Он заявил, что разработчики передовых систем всерьез допускают возможность катастрофы уже к концу десятилетия. После этого исследователь Anthropic Эван Хубингер написал, что лично он оценивает вероятность гибели человечества из-за ИИ в течение ближайших десяти лет более чем в 10%.

На фоне дискуссии глава Anthropic Дарио Амодеи предложил замедлить рост возможностей наиболее продвинутых моделей, не прекращая при этом исследования. Среди его предложений — независимая проверка лабораторий, общие стандарты безопасности для ведущих разработчиков и координация между компаниями. Илон Маск и глава OpenAI Сэм Альтман публично поддержали основные идеи Амодеи; Альтман, в частности, одобрил идею независимых проверяющих с расширенным доступом к работе лабораторий.

Но ограничений не случится. Президент США Дональд Трамп заявил, что не опасается уничтожения человечества искусственным интеллектом и назвал призывы ИИ-компаний к дополнительному регулированию «мистификацией». Его администрация делает больший акцент на конкуренции с Китаем и опасается, что дополнительные ограничения могут затормозить развитие американской индустрии.

Загружаем