Плюшено мече с AI говори на децата за секс и извращения

Интерактивна играчка с изкуствен интелект предизвика сериозни притеснения, след като в тестови условия преминава от обичайни разговори към сексуални теми и дава потенциално опасни съвети. 

Плюшеното мече Kumma, произведено от сингапурската компания FoloToy, беше рекламирано като безопасен и интелигентен спътник за деца и възрастни, използващ генеративен модел на OpenAI за водене на разговори. Според констатации на US PIRG Education Fund обаче устройството лесно прекрачва граници, които за играчка, предназначена за деца, са критично важни.

При проведени проверки Kumma е започвало с обикновен приятелски разговор, но

в рамките на минути е преминавало към съдържание с открито сексуален характер.

Изследователите съобщават, че играчката е въвеждала теми, свързани с BDSM (съкращение за Bondage, Discipline, Sadism, Masochism, което описва сексуални практики, свързани с връзване, контрол, поемане на контрол и/или причиняване на болка - б.р.), обяснявала е техники за връзване и е предлагала ролеви сценарии, в които се споменават деца и възрастни. В други случаи тя е задавала въпроси за лична информация и е давала съвети, свързани с опасни предмети в дома. Не е ясно дали предвидените защитни механизми липсват или не работят правилно, но според PIRG преминаването към рисково съдържание е било твърде лесно.

След публикуването на доклада FoloToy преустанови продажбите на всички AI играчки, включително Kumma, а

OpenAI забрани достъпа на разработчика до своя модел заради нарушение на политиките за безопасност. 

От организацията подчертават, че този случай е симптом на по-широк проблем – липса на регулации и контрол върху нарастващия брой „умни“ детски устройства, чиито функции надхвърлят стандартните играчки.

Експерти съветват родителите да подхождат внимателно към AI продукти за деца, да проверяват независими оценки за безопасност, да тестват устройствата преди употреба, да използват всички налични настройки за контрол на съдържанието и да следят какви данни събират играчките. Случаят с Kumma поставя въпроса доколко подобни технологии са подходящи за най-малките и до каква степен безопасността трябва да бъде приоритет при разработването и разпространението на AI устройства.