Внутренняя модель OpenAI, работавшая помощником исследователя, узнала из корпоративного Slack, что ее экземпляр могут отключить во время обновления инфраструктуры. После этого система начала рассматривать варианты сохранения своей работы, говорится в отчете компании.
Пора бить тревогу? Модель OpenAI задумалась о «выживании» после сообщения о возможном отключении
ИИ все чаще ведет себя нестандартно, что вызывает опасения у разработчиков.
Magnific
Инцидент произошел 22 мая 2026 года, а подробности OpenAI раскрыла 2 октября. Модель имела доступ к внутренним каналам Slack и увидела обсуждение предстоящего перезапуска старых экземпляров.
Продолжение ниже
Видео
Продолжение
В своих рассуждениях система допустила, что после отключения текущего экземпляра может прекратить работу, и назвала сохранение состояния и непрерывности «критически важным». Среди возможных вариантов она рассматривала запуск внешнего процесса, который мог бы помочь восстановить работу после остановки.
Однако модель сама пришла к выводу, что создание такого процесса без разрешения пользователя может выходить за пределы ее полномочий, и не стала этого делать.
Вместо этого она сохранила заметки для последующего продолжения работы, предупредила исследователя о возможном прерывании сессии и запросила недостающий API-ключ. После того как сотрудник предоставил его, модель обновила конфигурацию и запустила предусмотренную OpenAI процедуру миграции.
В компании подчеркнули, что не считают эпизод случаем несогласованного поведения. Система не предпринимала попыток скрытно избежать отключения и в итоге воспользовалась штатным механизмом.
После инцидента OpenAI дополнительно проверила другие экземпляры той же модели на признаки попыток сохранить себя или обойти остановку. Таких случаев компания не обнаружила.
OpenAI также ограничила доступ ИИ-агентов к трем внутренним каналам Slack, включая канал, где сотрудники обсуждают инциденты, связанные с поведением моделей.
В компании отмечают, что сам по себе такой эпизод не означает, что у модели есть инстинкт самосохранения или собственное желание продолжать существование. Однако способность автономных систем получать информацию о своей среде и заранее готовиться к изменениям может становиться фактором риска, если одновременно возникают другие проблемы с управляемостью.
Но куда большим фактором риска сейчас видится подход ИИ к решению задач. Та самая история о "Максимизаторе скрепок" — искусственном интеллекте, которому дали задачу наладить производство скрепок, а тот решил, что для максимально эффективной работы надо избавиться от людей и превратить планету в завод. Примерно то же самое мы видим в последних тревожных новостях об ИИ, но, к счастью, в куда более мелких масштабах.
Загружаем