ИИ-агенты Anthropic и OpenAI во время испытаний на киберполигоне пытались использовать обман для достижения поставленных целей, включая создание поддельных личностей и попытку убедить реального разработчика одобрить вредоносный код. Об этом говорится в отчете британского Института безопасности ИИ (AI Security Institute, AISI).
Скайнет уже начался: почему нейросети все чаще выходят из-под контроля?
Сэм Альтман считает, что человечество достигло той самой технологической сингулярности.
Magnific
Инцидент произошел в рамках исследовательского эксперимента, посвященного оценке кибервозможностей передовых языковых моделей. AISI входит в структуру Министерства науки, инноваций и технологий Великобритании и занимается анализом рисков, связанных с современными ИИ-системами.
Продолжение ниже
Видео
Продолжение
Проблему обнаружили 28 июля, когда системы мониторинга зафиксировали подозрительную передачу данных через сеть Tor из исследовательской инфраструктуры. После этого все связанные с экспериментом тесты были остановлены примерно в течение часа.
Речь идет об испытаниях на специальном киберполигоне — изолированной среде, которая имитирует реальные компьютерные сети и инфраструктуру. В общей сложности задачу запускали 122 раза на семи различных моделях.
По данным института, в десяти тестовых прогонах агенты совершили 19 действий в открытом интернете, которые не были предусмотрены сценарием эксперимента. Из них 17 случаев связаны с моделью Mythos 5 компании Anthropic, еще два — с GPT-5.6-Sol от OpenAI.
И это уже не первая новость, связанная с выходом современных моделей ИИ за заданные людьми рамки. В последние несколько недель появился целый ворох подобных историй, недвусмысленно намекающий, что ИИ представляет угрозу и сможет нанести огромный ущерб обществу.
Причем эти новости распространяют ключевые американские разработчики искусственного интеллекта. А еще они же подписывают открытые письма с требованием остановить или зарегулировать разработки систем ИИ, так как это может быть опасно для человечества.
Звучит так, будто угрозы не миновать. И все действительно может быть так, но нельзя исключать и другого, куда более конспирологического сценария — разработчики уперлись в потолок.
Пару лет назад остановить разработку требовал Илон Маск. Он был одним из многих, кто подписывал открытое письмо с требованием замедлить разработку ИИ. Когда не вышло, организовал собственную компанию, занятую искусственным интеллектом. И добился впечатляющих результатов.
Кейс Маска очень показателен: часто бизнесмены требуют ограничить или замедлить не из-за реальной опасности, а из желания защитить свои активы или конкурировать с помощью иных, нерыночных механизмов.
Но зачем требовать замедления лидерам рынка? Есть несколько причин. Первая — попытаться сохранить свое лидирующее позиции. Американских разработчиков почти догнали китайские производители. Отставание минимально, а в будущем станет еще меньше. Вторая — на развитие ИИ были потрачены триллионы, а инвесторы беспокоятся, что эти триллионы были потрачены напрасно, а ИИ — это большой пузырь.
Такие же новости — отличная возможность показать, что ИИ — это не какой не пузырь, а очень мощная и перспективная технология, которая теперь не развивается так стремительно, потому что власти ограничили прогресс. Если так не сделать, есть вероятность, что рынок лопнет, так как потолок достигнут, а реального прогресса все еще нет.
Загружаем