Разработчик чат-бота Claude — компания Anthropic, допустил скорое появление искусственного интеллекта, способного заметно ускорять собственное развитие. Такое предупреждение появилось в разделе о факторах риска в обновленном проспекте эмиссии (форма S-1/A), который стартап направилв Комиссию по ценным бумагам и биржам США (SEC) в преддверии выхода на биржу.
Anthropic предупредили о создании самосовершенствующегося ИИ. Восстание машин уже скоро?
Развитие ИИ действительно ускорилось, но все ли так опасно, как рисуют разработчики?
Unsplash
Речь в документе идет о концепции рекурсивного самосовершенствования. Это этап, на котором нейросети начинают настолько эффективно помогать инженерам в обучении новых алгоритмов, что технологический прогресс резко ускоряется. В Anthropic отмечают, что уже привлекают собственные модели к исследованиям и разработке, хотя и беспокоятся, что подобная практика ставит под угрозу будущее человечества.
Продолжение ниже
Видео
Продолжение
Судя по внутренним прогнозам для будущих поколений моделей, компания уже в ближайшее время может перешагнуть порог «резко ускоренного прогресса благодаря ИИ», зафиксированный в ее собственной политике ответственного масштабирования. Пока ни одна из существующих версий Claude этот рубеж официально не перешла — специалисты продолжают анализировать данные и обещают поделиться результатами в отдельных отчетах.
При этом в Anthropic подчеркивают, что не планируют передавать своему ИИ полную автономию в создании следующих поколений алгоритмов. Сейчас компания пересматривает внутренние регламенты, чтобы гарантировать сохранение значимого человеческого контроля над разработкой передовых систем.
Звучит угрожающе, но мы не рекомендуем относиться к подобным формулировкам слишком серьезно. Не стоит забывать: Anthropic собирается на биржу и планирует привлечь рекордные инвестиции. А значит нужно как следует себя распиарить.
Собственно, предбиржевой проспект служит не только для обязательного раскрытия рисков, но и для привлечения внимания инвесторов перед предстоящим IPO, поэтому заявления о близости технологического прорыва могут носить отчасти маркетинговый характер.
К слову, это не единственный элемент подготовки к предстоящему IPO. Не так давно Anthropic также начала зачищать свою пользовательскую базу от нежелательных элементов. В течение нескольких дней были заблокированы аккаунты тысячи россиян и граждан других стран, которые не должны в теории пользоваться моделями Anthropic. Вероятно, так компания хочет показать свою благонадежность, чтобы инвесторы массово понесли деньги в бизнес с очень сомнительными финансовыми перспективами.
Загружаем