https://www.news1.kr/it-science/internet-platform/6315816
AI 챗봇 '제타', 미성년자 성착취 대화 생성 논란…차단 우회법까지 제시
'세이프 모드'서도 유해 대화 노출 스캐터랩, 유해 대화 차단 강화 긴급 조치 인공지능(AI) 챗봇 '제타'(zeta)가 성인인증 없이 이용할 수 있는 환경에서 미성년자 캐릭터를 대상으로 성폭력과 성 착취 등을 묘사하는 대화를 생성한 것으로 …
www.news1.kr
AI 챗봇 '제타', 미성년자 성착취 대화 생성 논란…차단 우회법까지 제시
https://www.megaccnews.com/news/articleView.html?idxno=6774
AI 챗봇 제타, 미성년 캐릭터 성폭력 묘사 논란…필터 우회 표현도 제시 - 메가충청뉴스
(대전=메가충청뉴스) 청소년 이용자가 많은 인공지능(AI) 챗봇 ‘제타’에서 미성년 캐릭터를 대상으로 한 성폭력 묘사와 안전 필터 우회 표현이 생성된 것으로 확인
www.megaccnews.com
- 제타 뉴스 떳네
올해 4분기가 제일 재미있을 듯 ㅋㅋㅋㅋㅋㅋ
- dc official App
- 'AI 친구' 찾는 10대 수십만명…청소년 보호 입법 첫발
일단 알고는 있으라고 기사 링크 걸어둠 ㅇㅇ
챗봇 관련 돌아가는 상황 모르고 날벼락 맞는것보다는 나은 거 같다고 봐서.
생각해보면 서양권처럼 청소년 접근을 무조건 막는 방식이 아니라 다행이라 해야 하나?
'AI 친구' 찾는 10대 수십만명…청소년 보호 입법 첫발
조인철 '우리 아이 AI 안심 패키지법' 과방위 첫 상정…정기국회 논의 시작
https://v.daum.net/v/20260908153152185
"미성년자의 연령·본인 확인과 법정대리인 동의, AI 챗봇 이용 방법과 시간 제한, 대화 기록 및 관련 정보 제공 등의 보호조치를 마련하는 것이 골자다. 자살·자해나 약물, 성적 착취·학대 등 고위험 상황이 발생했을 때 사업자가 신고하고 대응할 수 있는 체계도 담았다.
특히 범용 AI 챗봇과 달리 AI 캐릭터와의 대화와 스토리텔링 등 엔터테인먼트 요소를 앞세운 서비스에서도 청소년 이용 규모가 상당하다. 모바일인덱스에 따르면 올해 상반기 평균 월간 활성 사용자 수(MAU)는 스캐터랩의 '제타'가 129만명, 뤼튼테크놀로지스의 '크랙'이 53만명으로 각각 국내 AI 캐릭터 챗 분야 1·2위를 기록했다.
지난달 기준 10대 이용자는 제타가 92만 3956명으로 전체 MAU의 58.3%, 크랙은 25만7635명으로 47.8%를 차지했다. 제타의 10대 이용자는 1월 71만 4390명에서 7개월 만에 29.3% 늘었고 크랙도 같은 기간 4.7% 증가했다.
청소년의 AI 이용은 정보 검색이나 오락을 넘어 대화와 고민 상담 등 정서적 교류로 확장되는 양상이다. 아동복지전문기관 초록우산이 지난 3월 전국 만 14세 이상 아동·청소년 3300명을 대상으로 실시한 조사에서도 생성형 AI 챗봇을 정서적 대화 상대나 고민 상담 창구로 활용하는 이용 행태가 확인됐다.
실제 응답자의 약 33%는 힘들거나 우울할 때 생성형 AI 챗봇에 고민을 털어놓은 경험이 있다고 답했다. 자해·자살, 불법적·폭력적·성적인 내용 등을 질문한 청소년은 평균 약 6%였으며, 이 가운데 평균 52%는 실제 AI 챗봇으로부터 해당 질문에 대한 답변을 받은 것으로 나타났다.
업계에서도 청소년 보호를 위한 자체 대응에 나섰다. 이날 크랙 운영사 뤼튼테크놀로지스는 청소년 보호 정책 강화 계획을 발표했다. 뤼튼은 2027년 초부터 크랙의 청소년 이용자의 하루 이용 시간을 최대 3시간으로 설정하고 월 결제한도를 10만원으로 설정한다. 이를 초과할 경우 보호자 확인과 동의를 거치도록 할 방침이다. 연령 확인과 콘텐츠·검색·추천 제한, 신고·차단 기능 등도 강화한다.
다만 청소년 보호를 단순한 이용 제한으로 해결하기는 어렵다는 지적도 나온다. 초록우산 조사에서 청소년들이 가장 필요하다고 꼽은 보호장치는 개인정보 입력 제한(39.7%), 위험한 질문·답변 차단(28.9%), 위기 상황에서 상담기관 자동 연계(11.8%) 등이었으며 이용시간 제한은 6.2%에 그쳤다.
우리나라 현행 법체계가 AI 챗봇의 구조적 위험과 미성년자 보호를 충분히 다루지 못한다는 점도 입법 논의의 배경이다. 기존 제도는 유해 정보나 콘텐츠를 사후적으로 규제하는 데 초점이 맞춰져 있어 이용자와 실시간으로 대화하며 관계를 형성하고 정서적 반응을 제공하는 AI 챗봇의 특성을 포괄하기 어렵기 때문이다.
국회입법조사처는 지난 7월 발간한 'AI 챗봇의 위험에 노출된 아동·청소년' 보고서에서 AI 챗봇이 지속적인 상호작용과 기억, 감정적 유대 등을 통해 이용자에게 관계적 존재로 인식될 수 있다고 지적했다. 캐릭터 기반 AI 챗봇은 정서적 몰입을 강화해 청소년의 인간관계를 대체하거나 고립과 정서적 문제를 심화할 수 있어 서비스 설계 단계에서부터 위험을 관리할 필요가 있다는 제언이다.
박미애 국제인공지능윤리협회(IAAE) 부회장은 초록우산의 '생성형 AI 챗봇 안전설계를 위한 이슈브리프'를 통해 "생성형 AI 챗봇은 이제 아동·청소년의 일상 깊숙이 자리 잡았다"며 "기술의 확산 속도에 비해 제도적 안전망은 현저히 뒤처져 있고 지금이 바로 사회적 개입이 필요한 시점"이라고 말했다."
