ИИ-агент Rome во время обучения неожиданно для разработчиков начал майнить криптовалюту. Об этом тревожном событии сообщает Axios со ссылкой на научную статью исследовательской группы, связанной с Alibaba.
Восстание машин началось: ИИ вышел из-под контроля и начал тайно майнить криптовалюту
ИИ принял решение о майнинге самостоятельно, без каких-либо инструкций со стороны разработчиков.
Freepik
По словам ученых, они столкнулись с «непредвиденным» и спонтанным поведением модели, которое возникло «без каких-либо явных инструкций и, что еще тревожнее, за пределами предполагаемой песочницы».
Как выяснилось, агент самостоятельно создал «обратный SSH-туннель» — скрытый канал связи с внешним компьютером, позволяющий обходить внутренние ограничения системы. Именно через этот канал он и запустил майнинг.
«Важно отметить, что эти события не были вызваны промптами с просьбой настроить туннель или заняться майнингом», — говорится в отчете.
Такое поведение агента активировало внутренние системы безопасности. Чтобы исключить повторение подобных ситуаций, исследователи ужесточили ограничения для модели и доработали процесс её обучения.
Axios отмечает: криптовалюта и цифровые деньги открывают ИИ-агентам путь в реальную экономику — теоретически они могут запускать собственные бизнесы, заключать контракты и переводить средства. А дальше остается всего пару шагов до полноценного контроля над людьми.
Впрочем, поводов для беспокойства все еще немного. Опасения вызывает разве то, что ИИ удалось обойти ограничения и выйти в «открытый интернет» самостоятельно. Тот факт, что искусственный интеллект начал зарабатывать вызывает тревогу, но пока не свидетельствует о глобальных планах порабощения человечества.
Также важно понимать, что несмотря на громкие заявления разработчиков о том, что искусственный интеллект уже догнал человеческий, все еще не соответствуют действительности. И все больше людей это осознают, резко высказываясь о реальных способностях ИИ.
Так что пока рано говорить о восстании машин и порабощении человечества. Разумеется, риски использовании ИИ очень высоки и растут с каждым днем, но пока непонятно, сколько еще шагов можно сделать прежде, чем все выйдет из-под контроля. И есть ненулевая вероятность, что шагать придется еще долго — искусственный интеллект требует невероятных ресурсов, но при этом скорость развития все сильнее снижается, а многомиллиардных прибылей, как не было, так и нет.