Как сообщает The New York Times, в этом году Anthropic удалось сорвать сразу несколько потенциальных заговоров с участием ученых, проводивших опасные исследования. При этом в корпорации признали, что не смогли установить, были ли намерения специалистов преступными на самом деле. Современные биологические исследования нередко имеют двойное назначение: те же методы, которые позволяют ученым разрабатывать вакцины и лечить заболевания, одновременно используются и для создания еще более опасных патогенов.
Claude заблокировал несколько ученых, заподозрив их в создании биооружия. Но доказать не смог
В Anthropic рассказали о новой угрозе.
Magnific
Компания Anthropic, разработавшая и развивающая ИИ-ассистента Claude, сообщила, что ее нейросеть заблокировала сразу нескольких представителей научного сообщества, пользовавшихся продуктом. Искусственный интеллект пришел к выводу, что они пытались использовать информацию, полученную в ходе общения с чат-ботом, для разработки биологического оружия.
В Anthropic подчеркнули, что осознают масштабы и угрозу от этой проблемы, поэтому предпочитают действовать осторожно и пресекать любые случаи, когда научная деятельность может привести к непоправимым последствиям.
Так, одним из случае, которые привлекли внимание разработчиков Claude, стало взаимодействие ассистента с ученым, исследовавшим лихорадку чикунгунья. Пользователь просил нейросеть помочь ему с грантовой заявкой на работу, в ходе которой было необходимо создать мутации вируса, способные сделать его еще более опасным, с последующим тестированием на животных.
Подобные исследования применяются и в обычной «безопасной» науке. Однако Anthropic выяснила, что конкретно этот проект предполагалось реализовать в военном научном институте. «Мы не знаем, предполагалось ли использовать результаты исследований в качестве оружия. Но то, что военное учреждение проводит исследования по усилению функциональных свойств [вируса], вызывает опасения», — отметил в интервью руководитель отдела анализа угроз Anthropic Джейкоб Кляйн.
Компания Anthropic призвала остановить разработку ИИ. Критики считают, что это способ борьбы с конкурентами
Самый мощный ИИ в мире запретили через 3 дня после релиза: Anthropic отключили Fable по требованию властей США
Исследователь из Anthropic уволился от страха перед ИИ: он уверен, что человечеству скоро конец
Самый мощный ИИ в мире запретили через 3 дня после релиза: Anthropic отключили Fable по требованию властей США
Исследователь из Anthropic уволился от страха перед ИИ: он уверен, что человечеству скоро конец
Кроме того, в отчете Anthropic указано, что компания смогла выявить использование Claude для создания политической пропаганды, слежки за диссидентами и разработки программного обеспечения для ракет, ударных дронов, бомб и прочего оружия. Однако наибольшую тревогу у компании вызывают именно возможности создания биологического оружия – как раз потому, что такая деятельность может на первый взгляд казаться обычной научной работой, хотя ее автор способен прикрывать легитимными задачами крайне опасные исследования. В связи с этим компания усилила ограничения на запросы в Claude, связанные с разработками двойного назначения.
Загружаем