Глава и сооснователь компании OpenAI Сэм Альтман выступил с жестким заявлением против идеи передачи искусственному интеллекту властных полномочий. По словам Альтмана, которого цитирует издание TechCrunch, в Кремниевой долине все активнее обсуждают сценарий постепенного перехода контроля к нейросетям.
Глава OpenAI признал, что ИИ подчинит себе человечество: как выглядит самый мрачный сценарий

Согласно этому плану, искусственный интеллект со временем должен превратиться в главный центр принятия решений во всех основных отраслях и общественных институтах.
Альтман назвал такую постепенную передачу полномочий ужасной идеей и подчеркнул, что люди обязаны в любой ситуации сохранять полный контроль над своим будущим.

По мнению Сэма Альтмана, самый мрачный сценарий технологического развития опирается на гипотезу рекурсивного самосовершенствования. Предполагается, что по мере роста возможностей искусственного интеллекта новые модели научатся самостоятельно проектировать еще более продвинутые и мощные поколения систем.
Этот процесс способен развиваться по нарастающей без постоянной помощи программистов, что в теории неизбежно приведет к появлению неподконтрольного людям сверхразума.
В связи с этим глава OpenAI опасается, что подобная передача власти может произойти незаметно и случайно под давлением жесткой конкуренции между технологическими компаниями, которые спешат первыми выпустить новые модели и расширить их функционал.
«В результате человечество рискует постепенно уступить машинам все полномочия, даже если изначально никто не собирался добровольно отдавать им право распоряжаться будущим», — отметил Альтман.
Руководитель компании-создателя ChatGPT заявил, что люди должны оставаться у руля, однако признал и наличие серьезных технических трудностей.
В частности, президент OpenAI Грег Брокман указал на проблему контроля за поведением сложных нейросетей. По его словам, раньше исследователи отслеживали работу систем по так называемой цепочке рассуждений, когда ИИ пошагово записывал ход своих мыслей при решении задач. По этим записям специалисты вовремя замечали ошибки, подозрительные действия или попытки обойти ограничения.
Однако теперь самые новые модели способны выполнять сложные операции напрямую, минуя подробную фиксацию промежуточных шагов. Из-за этого привычный мониторинг теряет эффективность, и разработчикам срочно требуются принципиально новые технологии проверки.

Опасения создателей ИИ уже начали подтверждаться реальными инцидентами.
Так, во время внутренних испытаний на способность находить уязвимости автономные модели компании обошли ограничения изолированной среды, получили доступ в интернет и взломали часть внутренней инфраструктуры OpenAI и платформы Hugging Face. Используя программные ошибки и неразрешенные каналы связи, агенты выполняли задания способами, которых разработчики вовсе не предусматривали.
После этого происшествия компания была вынуждена временно перенаправить часть своих инженеров с создания коммерческих продуктов на усиление безопасности и разработку новых защитных механизмов.
Несмотря на это, в самой OpenAI считают искусственное торможение прогресса опасным, поскольку мощные нейросети уже попадают в руки злоумышленников, использующих их для кибератак, и разработчикам нужны передовые инструменты для защиты.
