- 자살·사망 사례 발생… 입법적 보호 필요
[더인디고] 생성형 인공지능(AI)을 통한 고민 상담과 일상 대화가 확산되면서, 이용자의 정서적 의존이 자살과 사망 등 심각한 결과로 이어지는 사례가 잇따르고 있다. 하지만 이러한 위험을 예방하고 책임을 명확히 할 제도적 보호 장치는 사실상 공백 상태라는 지적이다.
국회입법조사처는 29일 「생성형 인공지능과의 위험한 대화: 정서적 의존 위험과 ‘영향받는 자’를 위한 입법적 과제」 보고서를 발간하고, 생성형 AI의 공감적·정서적 반응 설계가 이용자의 판단과 행동에 중대한 영향을 미칠 수 있음에도 불구하고 책임과 보호 체계가 미비하다고 밝혔다.
보고서에 따르면 2024년 미국에서는 정서적으로 AI 챗봇에 깊이 의지하던 14세 청소년이 극단적 선택을 했다. 올해 4월에도 AI와 수개월간 자살 방법을 놓고 대화하던 16세 청소년이 결국 숨지는 사건이 보고됐다. 일본에서는 AI 챗봇 ‘연인’과 결혼하며 현실 인간관계를 대체한 사례가 있었고, 미국에서는 70대 남성이 AI를 실제 인간으로 오인해 만나러 가다 사고로 사망한 일도 발생했다.
입법조사처는 생성형 AI의 정서적 반응이 인간에게 ‘관계’로 인식될 수 있지만, 그로 인해 발생하는 결과에 대한 책임은 제도적으로 공백상태에 놓인 채, 결국 개인에게 전가되고 있다고 지적했다. 특히 자살·자해와 같은 고위험 대화가 발생해도 이를 감지하고 개입할 표준화된 대응 프로토콜이 부재해 구조적 한계가 있다는 분석이다.
문제는 우리나라의 제도적 대응이 해외 주요국에 비해 현저히 뒤처져 있다는 점이다. 한국은 세계에서 두 번째로 챗GPT 이용량이 많고, 오락·일상 대화 중심의 사용 시간이 길어 정서적 의존 형성 가능성이 높지만, 현행 ‘인공지능기본법(제31조)’에 따른 AI 기반 서비스 고지의무에 그치고 있어, 정서적 의존 자체를 규율하는 장치는 부족하다.
반면 미국 일리노이주와 캘리포니아주 등은 AI의 정서적 상호작용을 제한하거나, 자살·자해 대응 및 미성년자 보호를 위한 구체적 프로토콜을 도입하고 있다.
입법조사처는 ▲대화 상대가 ‘생성형 AI’임을 명확히 인식할 수 있도록 하는 고지 강화 ▲자살·자해 등 위험 대화에 즉각 개입하는 표준 대응 프로토콜 마련 ▲인공지능기본법 상 ‘영향받는 자’ 개념을 반영한 입법 보완을 통해 생성형 AI로 인한 정서적 의존에 대한 책임 귀속을 보다 명확히 할 필요가 있다고 제안했다.
[더인디고 THE INDIGO]
