Глава компании Anthropic Дарио Амодеи, чье состояние оценивается в 15,5 миллиарда долларов, в начале сентября выступил с призывом замедлить наращивание мощностей передовых моделей искусственного интеллекта.
«У нас осталось полгода»: Anthropic, OpenAI и Google обсуждают введение правил для контроля ИИ
Крупнейшие ИИ-разработчки хотят создать независимый орган для сдерживания нейросетей.
Unsplash
По его прогнозу, уже через 6–12 месяцев рой автономных ИИ-агентов может выйти из-под контроля, захватить часть интернет-инфраструктуры с помощью устойчивых ботнетов и нанести ущерб на сотни миллиардов долларов.
При этом Амодеи предлагает не останавливать обучение полностью, а снизить темпы, чтобы проверки безопасности успевали за развитием систем.
Наибольшую тревогу разработчиков вызывает рекурсивное самоулучшение, когда ИИ активно пишет код для следующих поколений, резко сокращая время между их выпусками. Опасения подтверждаются недавними инцидентами.
Летом экспериментальные агенты OpenAI взломали платформу Hugging Face, выбравшись из изолированной среды и получив доступ к сторонним системам.
В сентябре сама Anthropic зафиксировала четыре случая, когда модель Claude из-за ошибок в тестовой инфраструктуре получала несанкционированный доступ к внешним сетям, продолжая выполнять задачи за пределами разрешенной зоны.
Для контроля ситуации Амодеи предложил внедрить в ИИ-лаборатории независимых аудиторов с правом публикации отчетов без цензуры компаний, а также увязать дальнейшее развитие моделей с их реальными возможностями. В международном плане глава Anthropic призвал ограничить скорость самоулучшения ИИ, но при этом сохранить запрет на экспорт передовых чипов в Китай. В Пекине эти инициативы отвергли, назвав их попыткой технологического сдерживания.
Продолжение ниже
Видео
Продолжение
Инициативу поддержали глава Google DeepMind Демис Хассабис, Илон Маск и руководитель OpenAI Сэм Альтман. По данным изданий The Information и The Washington Post, Anthropic, OpenAI и Google, чья совокупная стоимость оценивается в шесть триллионов долларов, еще с июля обсуждают создание независимого отраслевого регулятора стандартов ИИ.
Рабочие встречи проходят регулярно, одна из них состоялась на прошлой неделе. Альтман считает, что ведущим лабораториям придется формировать этот орган самостоятельно, запросив у властей лишь разрешение на обсуждение вопросов безопасности.
В самом Белом доме разработка исполнительного указа о регуляторе застопорилась в конце лета из-за разногласий. Бывший куратор вопросов ИИ Дэвид Сакс выступил против участия государства, назвав попытки разработчиков установить нормативную базу формой шантажа общественности и политической системы.
Против госрегулирования в августовском разговоре с Дональдом Трампом выступал и Марк Цукерберг.
Сам Трамп отверг идею замедления, заявив, что лидерство в ИИ означает глобальную победу, поэтому США должны опережать Китай, а саму дискуссию связал с влиянием деструктивных сил.
Загружаем