"눈으로 본 것 더는 못 믿어…AI 탓에 100년 신뢰체계 붕괴"

스탠퍼드대 3차 보고서…딥페이크 性유해물 2년만에 1,600%↑

5년 전 보고서에서 부정적 예상 적중하고 희망적 기대는 빗나가

"군사 AI 급속 확산하는데 미중 패권경쟁에 규제 논의는 파편화"

이미지 확대

(샌프란시스코=연합뉴스) 권영전 특파원 = "눈으로 본 것을 더 이상 믿을 수 없다(Seeing is no longer believing)."

인공지능(AI)의 급속한 발전으로 이미지와 음성, 영상 기록은 신뢰할 수 있다는 100년 묵은 신뢰 체계가 무너지고 있다는 진단이 나왔다.

미국 스탠퍼드대 인간중심AI연구소(HAI)의 'AI 100년 연구'(AI100) 연구진은 10일(현지시간) 5년 만에 펴낸 3차 보고서 'AI의 대중화: 규모 확장 시대와 생성 AI의 부상'에서 이같이 평가했다.

보고서는 "AI로 생성된 미디어는 진짜 기록물과 구별하기가 점점 더 어려워지고 있다"며 "복제된 목소리는 대중을 속이고 무지한 피해자들에게서 돈을 갈취하는 데 점점 더 많이 쓰이고 있다"고 지적했다.

특히 첨단 영상 조작기술인 '딥페이크'가 전 세계 선거 개입에 악용되는 것은 물론, 아동성착취자료(CSAM) 등 해로운 자료 제작에도 폭넓게 쓰이고 있다.

당사자 동의 없이 제작된 성적(性的) 딥페이크 이미지·영상(NCII)은 2023년부터 2025년까지 불과 2년 만에 1천600% 폭증한 것으로 조사됐다.

이와 같은 AI 조작 미디어에 따른 악영향은 저널리즘과 창작 산업, 정치권, 법조계 등 분야를 막론하고 광범위하게 확산할 것이라고 보고서는 예상했다.

연구진은 이러한 현상이 2021년 발간한 2차 보고서에서의 부정적인 예상과 맞아떨어지고 있다며, '동시에 AI 기술이 대중에게 다각도의 정보를 전달해 정보 편향을 해소해줄 것'이라는 희망적인 기대는 빗나갔다고 덧붙였다.

군사·전쟁 영역에서도 AI가 광범위하게 사용되면서 국제 분쟁의 양상을 완전히 바꿔놨다고 이번 보고서는 진단했다.

AI 무기는 5년 전 보고서에서 예상했던 수준을 훨씬 뛰어넘는 속도로 배치되고 있으며, 가자지구 전쟁이나 러시아-우크라이나 전쟁 등 실전에서 '라벤더'·'가스펠'·'팔란티어' 등 AI가 살상 무기의 표적을 선정하는 시스템이 산업적 규모로 도입되는 것도 당시 보고서의 틀을 완전히 넘어선 현상이라고 지적했다.

이와 같은 군사용 AI가 확산하면 인간이 폭력을 행사할 때 느끼는 '도덕적 거리'(Moral Distance)가 극대화해 죄책감이 옅어질 뿐만 아니라 이른바 '환각'이나 오류로 인한 민간인 피해 위험도 커진다.

연구진은 "이는 오랫동안 예상돼왔고 동시에 오랫동안 우려돼온 현상"이라며 "인도주의적 재앙을 방지하려면 새로운 교전 규칙이 필요할 것"이라고 제언했다.

이미지 확대

정치·사회·군사적으로 결정적인 요소가 된 AI를 둘러싼 지정학적 패권 경쟁에 대해서도 보고서는 다뤘다. 미국과 중국이 AI 경쟁을 벌이고 그 밖의 나라들도 자체 기술 주권을 위해 AI 개발에 나서면서 규제 논의는 파편화한 채 이뤄지고 있다는 지적이다.

이들은 AI가 노벨상을 받을 정도로 인간의 학문적·기술적 진보에 도움을 주는 등 놀라운 능력을 보이면서도 정작 영어 단어 '스트로베리'(strawberry·딸기)에 'r'이라는 철자가 몇 번 나오는지는 제대로 답하지 못하는 들쑥날쑥한 지능의 한계를 보인다고도 설명했다.

또 AI 의존으로 인한 정신 이상 사례와 저품질 AI 생성물인 'AI 쓰레기'(AI Slop)의 범람 등도 문제점으로 지적됐다.

AI100 상임위원회 위원장인 실라 매킬레이스 캐나다 토론토대 교수는 "지난 5년은 AI 역사의 분수령이 된 시기"라며 "정부와 산업계는 급격한 변화에 맞춰 사회 제도와 핵심 인프라를 보호해야 하고 AI 기술의 혜택과 위험 모두에 대해 명확한 검증과 감시가 필요하다"고 강조했다.

다만 연구진은 "보고서가 출간되는 시점에는 (다룬 내용이) 이미 과거의 기록이 됐을 것"이라며 "기술의 발전 속도가 정체될지 도약할지는 예측하기 어렵지만 향후 5년 역시 지난 5년만큼이나 인류에게 놀라운 시기가 될 것"이라고 전망했다.

2014년 출범한 AI100은 2016년을 시작으로 5년마다 AI 기술의 발전과 사회적 영향력을 종합 평가하는 장기 프로젝트다.

comma@yna.co.kr

제보는 카카오톡 okjebo <저작권자(c) 연합뉴스, 무단 전재-재배포, AI 학습 및 활용 금지> 2026년11월10일 23시00분 송고