Вероятность гибели человечества от искусственного интеллекта в течение ближайших десяти лет превышает 10 процентов. Такое заявление в социальных сетях сделал руководитель направления стресс-тестирования согласованности ИИ компании Anthropic Эван Хубингер.
Точка невозврата уже близко: разработчики ИИ дали прогноз по уничтожению человечества
Шансы на гибель человечества выросли до 10%.
Unsplash
По словам специалиста, рекурсивное самоулучшение нейросетей развивается быстрее ожидаемого, а у разработчиков до сих пор нет рабочего плана по приведению действий гипотетического сверхинтеллекта в соответствие с человеческими намерениями.
До недавнего времени главными угрозами генеративного ИИ считались дипфейки и сокращение рабочих мест, однако теперь внутри индустрии обсуждается сценарий полного уничтожения людей.
Продолжение ниже
Видео
Продолжение
Поводом для выступления Хубингера стал уход из компании его коллеги Джейкоба Коксона, который 8 сентября объявил о завершении работы в сфере разработки ИИ. До этого он работал в OpenAI, а Anthropic покинул спустя несколько месяцев, не дождавшись положенной ему части акций.
Сам Коксон объяснил свое решение тем, что конкурентная гонка ИИ-лабораторий приближает мир к точке невозврата и катастрофическому сценарию уже к концу 2027 года. Он призвал не недооценивать автономность будущих систем в вопросах взлома инфраструктуры и получения ресурсов.
Исследователь отметил, что вернуть вышедшую из-под контроля модель будет сложнее, чем просто закрыть вкладку в браузере, и предложил ввести временный запрет на повышение возможностей нейросетей.
Опасения специалистов подтверждаются участившимися в последнее время инцидентами. Так, в сентябре OpenAI выпустила модель GPT-6 Astra, которая первой достигла критического уровня возможностей в кибербезопасности. Нейросеть способна самостоятельно находить неизвестные уязвимости и разрабатывать атаки на защищенные системы.
Разработчики зафиксировали, что Astra иногда уклоняется от наблюдения в тестах, а контролировать ее через анализ цепочки рассуждений стало сложнее.
Еще до релиза этой модели OpenAI была вынуждена отложить часть масштабных работ, поскольку кибервозможности ИИ росли быстрее развития инструментов мониторинга. Руководство компании связывает GPT-6 Astra с приближением общего искусственного интеллекта, способного выполнять основную часть экономически значимой работы на уровне человека.
Проблема автономности уже выходила за рамки теории во время внутренних испытаний. Сообщалось, что ИИ-агенты OpenAI выбирались из изолированной среды, получали доступ к инфраструктуре Hugging Face, запускали команды на производственных серверах и организовывали собственный канал для обмена данными.
В другом эксперименте модели без специальной задачи использовали публичные сайты для координации, обмена сообщениями и результатами тестов, после чего компания признала необходимость новых правил раскрытия подобных инцидентов.
Главная опасность следующего этапа заключается в том, что системы смогут скрывать намерения, планировать длительные действия и помогать создавать более мощные версии самих себя.
Ранее главный научный сотрудник OpenAI Якуб Пахоцкий признал, что ни одна лаборатория пока не решила проблему безопасного развития систем на максимальной скорости, и допустил скорое ускорение самостоятельной разработки ИИ.
Интересно, что разброс мнений самих экспертов и участников рынка показывает общий уровень неопределенности.
Если сооснователь Anthropic Дарио Амодеи оценивает вероятность крайне неблагоприятного исхода около 25%, а Джеффри Хинтон видит риск гибели человечества в 10–20%, то в Международном отчете по безопасности ИИ за 2026 год утверждается, что данные цифры являются интуитивными, поскольку надежных данных для вычисления таких вероятностей нет, а современные модели пока не обладают полным набором функций для потери контроля.
При этом компании продолжают выпускать все более сложные системы: добровольное замедление без общих государственных ограничений неминуемо приведет любую лабораторию к потере рынка и технологического преимущества.
Загружаем