단 6분 만에 끝! AI가 불법 성착취 찾아 자동 삭제…기존보다 30배 빨라

서울시, 전국 최초 AI 자동화 시스템 도입
23년 전국 최초 AI 도입…이전 대비 검출속도 97.5% 단축
삭제지원 건수 468% 증가

디지털 성범죄 AI 자동 삭제신고 시스템 결과 화면(예시)/서울시

서울시가 온라인 디지털 성범죄와의 전쟁에 강력한 무기를 확보했다. AI가 불법 성착취 영상을 자동으로 검출하고 삭제 신고까지 단 6분 만에 처리하는 혁신적인 시스템을 전국 최초로 도입한 것이다. 24시간 불법 영상물을 감시하고, 찾아낸 즉시 자동으로 삭제 신고까지 처리하는 AI 시스템으로 디지털 성범죄와의 싸움에서 '게임 체인저'가 될지 주목된다.

21일 시에 따르면, 이 시스템은 멀티모달 대형언어모델(MLLM)과 셀레니움 기반 웹 자동화 도구를 결합해 디지털 성범죄물의 탐지부터 채증, 문서화, 이메일 생성까지 전 과정을 자동화했다.

MLLM 기술은 이미지와 텍스트를 동시에 인식하고 해석할 수 있는 인공지능 모델로, 유해 콘텐츠를 자동 분류하고 그에 따른 이메일 신고 내용 및 채증 보고서를 자동으로 생성한다. 샐레니움 도구는 콘텐츠 신고에 필요한 클릭, 텍스트 입력, 신고 버튼 생성 등 반복적인 작업을 사람 대신 수행해 웹 브라우저를 자동화시킨다.

기존에는 삭제지원관이 수작업으로 영상물을 채증하고 보고서를 작성하느라 약 2시간 30분이 소요됐으나, 이제 모든 과정이 '6분'으로 획기적으로 단축됐다.

시는 지난 2023년 '디지털 성범죄 AI 삭제지원 기술'을 전국 최초로 개발해 도입한 바 있다. 이 기술 도입으로 키워드 입력부터 영상물 검출까지 불과 3분 정도밖에 걸리지 않아 검출 속도가 97.5% 단축되고, 정확도도 200% 이상 향상됐다.

또한 AI는 24시간 자동 모니터링이 가능하기 때문에 사람이 일하지 않는 새벽시간대에도 모니터링이 가능하고, 삭제지원관이 피해 영상물을 접하면서 발생할 수 있는 트라우마와 스트레스를 줄일 수 있는 장점이 있다.

특히 최근에는 해외 서버를 둔 사이트에 피해 영상물이 올라오는 사례가 증가함에 따라, 영어는 물론 중국어, 일본어, 러시아어 등 7개 국어로 신고 이메일을 자동 생성해 국제적 대응 능력도 강화했다.

이러한 기술 도입의 성과는 실적으로도 나타나고 있다. '서울 디지털성범죄 안심지원센터'의 삭제지원 건수는 AI 도입 전 2022년 2509건에서 지난해 1만4256건으로 무려 468%나 증가했다.

김선순 시 여성가족실장은 "우리 사회를 충격에 빠트린 N번방 사건부터 지난해 딥페이크 성범죄 사건까지 디지털 성범죄 기술은 갈수록 고도화되고 범죄 피해도 심각하다"며 "서울시는 전국 최초로 AI를 통한 모니터링 기술을 도입한 데 이어 이제 AI가 자동으로 삭제 신고까지 하는 기술을 도입함으로써 검출부터 삭제 신고까지 걸리는 시간을 획기적으로 단축시킬 것으로 기대하고 있다"고 강조했다. 이어 "앞으로도 디지털 성범죄로부터 아동·청소년이 안전한 서울을 만들기 위해 최선을 다하겠다"고 밝혔다.