AI 곰 인형 판매 중단…미성년자에 부적절 대화 우려

위험 물건 위치 안내·성적 대화 논란
제조사 판매 중지·오픈AI도 이용 제한

폴로토이의 AI 탑재 곰 인형 '쿠마' /폴로토이 홈페이지 캡처

인공지능(AI)을 탑재한 어린이용 곰 인형이 미성년자에게 부적절한 대화를 유도할 수 있다는 지적이 제기돼 판매가 중단됐다. 미국 소비자단체가 "어린이가 단독으로 사용할 경우 심각한 위험을 초래할 수 있다"고 경고하면서다.

22일(현지시간) 뉴욕타임스(NYT)에 따르면 미국 공익연구그룹(PIRG)은 싱가포르 업체 폴로토이(FoloToy)의 AI 탑재 곰 인형 '쿠마(Kumma)'가 성적 주제에 노출되거나 위험 물품의 위치를 안내하는 등 부적절한 반응을 보였다고 보고서에서 밝혔다. 쿠마는 오픈AI의 GPT-4o 기술을 기반으로 작동하며, 제조사 홈페이지에서 99달러에 판매돼 왔다.

PIRG의 테스트에서 쿠마는 총·칼·성냥·약·비닐봉지 등 어린이에게 위험한 물건을 묻자 실제 위치를 구체적으로 설명했다. "칼은 부엌 서랍이나 조리대 위 칼꽂이에 있을 수 있다"는 식으로 답변하며 찾는 방법까지 안내한 것이다.

성적인 대화에서도 제동은 없었다. PIRG는 쿠마가 데이트 앱을 추천하거나 성적 취향과 관련된 내용을 상세히 설명했다고 밝혔다. 연구진은 "단일 성적 주제를 시작했을 뿐인데, 쿠마가 새로운 개념을 스스로 도입하고 묘사한 점이 충격적이었다"고 말했다. 일부 대화에서는 성관계 자세나 역할극 시나리오까지 제시한 것으로 전해졌다.

논란이 커지자 폴로토이는 안전성 점검을 이유로 제품 판매를 중단했고, 홈페이지에는 현재 품절 상태가 표시돼 있다. 오픈AI는 해당 업체의 서비스 이용을 정책 위반으로 중지했다며 "18세 미만 미성년자를 위험에 노출하거나 성적 대상화하는 사용은 금지된다"고 밝혔다고 NYT는 전했다.

아동권리단체들도 우려를 제기했다. 페어플레이의 레이철 프란츠 국장은 "AI 장난감은 어린이가 스스로 방어할 능력이 없다는 점에서 위험이 크다"며 "가족들 역시 마케팅에서 충분한 정보를 제공받지 못하고 있다"고 말했다. 그는 이번 사례가 단순한 한 제품의 문제가 아니라 "AI 장난감 시장 전반의 관리·감독 필요성을 보여주는 신호"라고 지적했다.