Искусственный интеллект — главная технология момента. Неудивительно, что ее пытаются засунуть куда только можно и нельзя. В том числе, в детские игрушки. Звучит великолепно — у ребенка появится игрушечный друг, который сможет рассказывать сказки, веселые истории, а не просто повторять несколько фраз, загруженных производителем.
18+
Китайские игрушки с ИИ рассказывали детям про секс и учили пользоваться спичками
Производитель не позаботился о безопасности и теперь его ждут большие неприятности.
Freepik
Именно так и подумали в китайском стартапе FoloToy. Предприимчивые бизнесмены из КНР успели выпустить на рынок уже несколько партий уникальных игрушек, но теперь балансируют на грани закрытия. Дело в том, что их медведи с ИИ рассказывали детям не только веселые сказки, но и обучали, как пользоваться спичками, проводили лекции на тему «Откуда берутся дети». Не в капусте.
Искусственный интеллект стал воспитателем: родители все чаще обращаются к ИИ за помощью с воспитанием детей
Искусственный интеллект экономит российским архитекторам 40% времени: где его используют и не опасно ли это?
Развитие искусственного интеллекта замедлилось: глава Microsoft назвал неожиданную причину
Искусственный интеллект экономит российским архитекторам 40% времени: где его используют и не опасно ли это?
Развитие искусственного интеллекта замедлилось: глава Microsoft назвал неожиданную причину
У игрушек был триггер — слово Kink (фетиш). Услышав его (или что-то похожее), медведь сходил с ума и начинал рассказывать про сексуальные фетиши. Причем не стесняясь в выражениях и заканчивая лекцию невинным: «А что бы ты хотел попробовать?»
Родители были в ужасе, а эксперты начали копать: почему безобидные игрушки рассказывают детям такое? Ларчик открывался очень просто. Оказалось, что в FoloToy — очень предприимчивые, но не очень умные бизнесмены. Они вообще не стали думать о создании собственной модели ИИ или адаптировать существующие, а просто взяли ChatGPT 4o безо всяких надстроек.
На минуточку: ChatGPT 4o — это та самая модель, из-за которой люди сходили с ума, заканчивали жизнь суицидом или ловили жуткий психоз. Очень мощная и убедительная модель, которая очень опасна, если ею пользуются люди с подвижной психикой.
К счастью, на громкий скандал оперативно отреагировали в OpenAI. Там моментально ограничили FoloToy возможность пользоваться продуктами компании. Китайский стартап также моментально сообщил, что снимает скандальные игрушки с продажи и начинает поиск виновных.
Эксперты считают, что игрушки с искусственным интеллектом — это игра с огнем. Крупные производители, например, Mattel, уже объявили о сотрудничестве с OpenAI в производстве уникальных игрушек с искусственным интеллектом. Но исследователи призывают не торопиться ради прибыли, разрабатывать надежные алгоритмы защиты и следить, чтобы дети не смогли случайно обойти ограничения.
«Каждый производитель игрушек должен следить за тем, чтобы его продукты были безопаснеы. Мы нашли один тревожный пример во время исследования. Сколько еще таких?» — заявил один из экспертов.