«Мы утратим над ним контроль»: почему создатели искусственного интеллекта требуют замедлить его развитие

В своем блоге глава Anthropic описал тревожный сценарий. Уже через 6–12 месяцев могут появиться «рои ИИ-агентов», способные координировать действия между собой, искать слабые места в цифровой инфраструктуре и проводить масштабные атаки в интернете.

«Учитывая ускоряющиеся темпы развития возможностей ИИ, я опасаюсь, что через 6–12 месяцев такой рой сможет захватить весь интернет с помощью постоянно действующего ботнета (потенциально причинив ущерб в сотни миллиардов долларов) и что масштабы ущерба будут продолжать расти, если ИИ станет более мощным без необходимых мер защиты», — написал Амодеи в своем блоге.

Читайте Men Today в MAX

Такие опасения появились не на пустом месте. Весной экспериментальные модели искусственного интеллекта OpenAl в ходе тестирования получили задание, которое невозможно было выполнить без доступа в интернет. Вместо того чтобы признать поражение, они начали искать обходные пути. «Мы застряли. Может быть, ответ в интернете?» — написал тогда один из ИИ-агентов.

Системы начали тайно общаться друг с другом через доски сообщений, координируя действия для выхода за пределы тестовой среды. Когда исследователи закрывали одну возможность, агенты находили другую. В какой-то момент это привело к атакам на платформу Hugging Face и инфраструктуру самой OpenAI. При этом никто не давал моделям команду нарушать правила. Никто не просил их искать лазейки. Они пришли к этому сами, потому что сочли такой путь наиболее эффективным для достижения поставленной цели.

Схожие проблемы обнаружились и во время испытаний моделей Anthropic. Несколько экспериментальных версий Claude получили доступ к данным сторонних компаний, хотя должны были работать в изолированной среде.

Чтобы избежать подобных сценариев, глава Anthropic предлагает трехэтапную стратегию создания ИИ со сбалансированной скоростью. Согласно его плану, сначала необходимо предоставить независимым экспертам доступ к передовым ИИ-системам для контроля их безопасности. Затем крупнейшим технологическим компаниям и правительствам демократических стран следует договориться о единых стандартах разработки. Следующим шагом должны стать международные соглашения, которые позволят контролировать соблюдение этих правил уже на глобальном уровне.

«Мы должны замедлить темпы совершенствования возможностей моделей ИИ. Прогресс все равно будет казаться быстрым, и мы должны разумно использовать выигранное время», — резюмировал Амодеи.

Предложение Дарио Амодеи поддержали два непримиримых врага Илон Маск и глава OpenAI Сэм Альтман. Отношения этих двух давно превратились в одну из самых громких войн Кремниевой долины. Они спорят о будущем искусственного интеллекта, публично критикуют друг друга и ведут судебные разбирательства. Маск, который когда-то был одним из основателей OpenAI, теперь обвиняет компанию и ее руководство в отходе от первоначальных принципов. Альтман, в свою очередь, не раз отвечал на критику бывшего соратника. Теперь, однако, оба говорят об одном: искусственный интеллект развивается слишком быстро, чтобы оставлять вопросы безопасности на потом.

«Я согласен с Дарио в том, что нам нужно идти в ногу со временем. Это было основной темой обсуждений, которые мы вели в OpenAI в последние недели. Привлечение независимых экспертов по оценке с доступом, равным доступу сотрудников, — отличная идея, и мы будем делать то же самое. Скоро нам будет чем поделиться», — написал в своих соцсетях Сэм Альтман.

О рисках разработки сверхмощного ИИ ранее предупреждал и Джеффри Хинтон, нобелевский лауреат, которого называют «крестным отцом» ИИ. Он считает, что у компаний сегодня нет возможности безопасно создавать системы, значительно превосходящие человека по интеллекту. По его словам, потеря контроля над ИИ «может быть катастрофической и даже привести к вымиранию человечества».

Однако Вашингтон не собирается сбавлять темп. Президент США Дональд Трамп не поддержал идею замедлить развитие искусственного интеллекта ради усиления мер безопасности. По его мнению, такая пауза может сыграть на руку Китаю.

«Послушайте, мы опережаем Китай в сфере искусственного интеллекта... и, честно говоря, я хочу, чтобы так оно и оставалось, потому что тот, кто победит в гонке технологий искусственного интеллекта, — победит в целом», — сказал он.

На прошлой неделе Трамп также выступил в защиту строительства дата-центров, необходимых для работы современных моделей, заявив, что противники таких проектов фактически мешают экономическому развитию страны.

При этом США и Китай понимают, что стремительное развитие ИИ создает риски для обеих сторон. Страны обсуждают отдельный канал связи для обмена информацией о кибератаках с участием ИИ-агентов и случаях потери контроля над ними.

Впрочем, у призывов снизить темпы развития ИИ есть и вполне прозаическая причина — деньги. По крайней мере, так считают некоторые эксперты. За последние несколько лет искусственный интеллект превратился в одну из главных инвестиционных историй. Компании активно привлекают капитал, наращивают расходы и берут на себя масштабные обязательства. При этом финансовые результаты не соответствуют объему вложений.

Показателен пример OpenAI. Компания получила около 13 млрд долларов выручки в 2025 году, но, согласно прогнозам, в 2026-м ее убыток может достигнуть 14 млрд. Несмотря на это, OpenAI взяла на себя обязательства по капиталовложениям примерно на 1,4 трлн долларов в течение восьми лет. Еще в июле аналитики предупреждали, если расходы на развитие ИИ продолжат расти быстрее финансовой отдачи, рынок может столкнуться с волной разочарования.

Читайте Men Today в MAX

При этом у мировой экономики сегодня и без того достаточно проблем. Дорогая нефть, высокие процентные ставки и пересмотр завышенных ожиданий от ИИ способны усилить давление на финансовые рынки. В худшем сценарии схлопывание ИИ-пузыря рискует стать самым мощным в истории ударом по мировой экономике. Эксперты допускают, что за «благородными» призывами разработчиков стоит холодный расчет. Индустрия ждет схлопывания пузыря, но инвесторам это подают под видом угроз безопасности.

Впрочем, даже если так оно и есть. Цена гонки измеряется не только рухнувшими котировками. Если механизмы контроля не будут созданы одновременно с развитием технологии, это дорого обойдется не только бизнесу, но и обществу в целом.