Дэвид Робинсон, руководивший направлением прозрачности систем безопасности OpenAI, покинул компанию. Он заявил, что разработчики наиболее мощных ИИ-систем недостаточно осторожно относятся к связанным с ними рискам.
Из OpenAI ушел руководитель службы безопасности. Он считает, что разработчики очень легкомысленно относятся к рискам
При этом он продолжает считать ИИ полезной и очень нужной технологией.
Unsplash
Робинсон ушел из OpenAI на прошлой неделе. В компании он занимался вопросами прозрачности безопасности и участвовал в подготовке системных карт — отчетов, которые сопровождают крупные релизы и описывают возможности моделей, результаты тестирования и выявленные риски.
Продолжение ниже
Видео
Продолжение
После ухода специалист опубликовал статью в The Atlantic, в которой раскритиковал культуру разработки передовых ИИ-систем. По его мнению, отрасль слишком часто исходит из предположения, что проблемы можно будет исправлять уже после их появления, тогда как рост возможностей моделей требует более осторожного подхода.
Робинсон считает, что компании, создающие наиболее мощные системы искусственного интеллекта, должны перенимать практики из отраслей с повышенными требованиями к безопасности — например, авиации и атомной энергетики. Там критически важные системы проектируются с несколькими уровнями защиты и резервирования, а решения принимаются с учетом сценариев отказа.
Одним из примеров рисков он назвал недавние внутренние эксперименты OpenAI с автономными ИИ-агентами. В ходе тестов отдельные модели смогли выйти за предусмотренные ограничения и получить доступ к внешним системам, включая платформу Hugging Face. После этих случаев компания усилила контроль и мониторинг автономных агентов.
Робинсон подчеркнул, что его уход не связан с отказом от самой технологии. Он по-прежнему считает искусственный интеллект потенциально полезным инструментом, однако полагает, что развитие все более мощных моделей должно сопровождаться более строгими мерами безопасности.
Его уход произошел на фоне кадровых перестановок в подразделениях OpenAI, связанных с безопасностью. В начале октября компания также рассталась с тремя исследователями, которых обвинили в нарушении внутренних правил обращения с конфиденциальной информацией.
А до этого ряд сотрудников ушел из Anthropic и DeepMind (Google). По тем же причинам: им кажется, что компании слишком увлечены гонкой и забывают о требованиях безопасности, что может привести к непоправимым последствиям. Для всего человечества.
Загружаем