오는 6월 3일 제9회 전국동시지방선거를 석 달 앞둔 시점, 정부가 딥페이크 가짜뉴스와의 전면전을 선언했다. 행정안전부는 10일 서울 정부청사에서 국립과학수사연구원과 공동 개발한 ‘AI 딥페이크 탐지 분석 모델’ 시연회를 열고, 이를 지방선거에 전격 투입한다고 밝혔다. 생성형 AI 기술이 누구나 쉽게 정치인의 얼굴과 음성을 합성할 수 있게 만들면서, 선거 과정 자체가 위협받고 있다는 판단에서다.

중앙선거관리위원회 집계에 따르면, 선거 기간 딥페이크 영상 삭제 요청은 2024년 제22대 총선 388건에서 2025년 대선 1만510건으로 약 27배 폭증했다. 단순한 증가세를 넘어, 특정 후보에게 누명을 씌우거나 정책을 왜곡하는 등 선거 결과를 직접 좌우할 수 있는 수준으로 진화했다는 것이 전문가들의 분석이다. 윤호중 행안부 장관은 “딥페이크는 단순한 기술 문제가 아니라 민주주의를 흔들 수 있는 새로운 정보 범죄”라며 강력 대응 의지를 밝혔다.

27배 폭증한 딥페이크, ‘선거 조작’ 우려 현실화

딥페이크 범죄가 이처럼 급증한 배경에는 생성형 AI 기술의 대중화가 자리하고 있다. 과거에는 전문 기술이 필요했던 영상 합성이 이제는 누구나 스마트폰 앱으로 가능해졌다. 특히 음성과 영상을 동시에 조작하는 멀티모달 딥페이크 기술이 등장하면서 진위 판별이 육안으로는 사실상 불가능해졌다. 지난해 대선 기간에만 중앙선관위와 협력해 온라인 불법 딥페이크 선거물 약 1만여 건을 탐지·삭제했다는 사실은, 이미 딥페이크가 선거 현장에서 일상적 위협으로 자리 잡았음을 보여준다.

문제는 기존 탐지 기술로는 생성형 AI로 제작된 최신 딥페이크를 걸러내기 어렵다는 점이다. 기존 모델의 탐지 정확도가 76%에 머물렀던 이유다. 이는 10건 중 2~3건은 놓칠 수 있다는 의미로, 선거라는 민감한 상황에서는 치명적 결함이다.

92% 정확도 확보한 AI 탐지 시스템의 비밀

이번에 공개된 탐지 모델은 정확도를 92%까지 끌어올렸다. 비결은 ‘앙상블 방식’이다. 지난해 열린 ‘딥페이크 범죄 대응 AI 탐지 모델 경진대회’에서 268개 팀, 1077명의 AI 전문가가 제출한 모델 가운데 상위 5개를 결합했다. 여러 알고리즘이 동시에 분석하고 다수결로 최종 판정을 내리는 방식이다. 국과수 박남인 연구관은 “기존 딥페이크 탐지 기술은 얼굴 영역 위주로 분석했지만, 이번 모델은 영상 전체 영역까지 확장했다”고 설명했다.

또한 영상 전체 흐름을 파악하는 ‘전역 분석’과 얼굴 등 특정 부위를 확인하는 ‘국소 분석’을 결합했다. 여기에 음성 분석 기능까지 추가해 영상에서 추출한 오디오를 별도로 검증한다. 약 231만 건의 데이터를 학습했으며, 이미 경찰 수사 의뢰 사건 15건의 딥페이크 여부를 분석하는 데 활용됐다. 시연회에서는 생성형 AI로 제작된 경찰 바디캠 영상과 선거 유세 영상을 실시간으로 분석하는 과정이 공개됐다. 탐지 결과는 0~100점 점수로 표시되며, 100에 가까울수록 딥페이크 가능성이 높다.

최대 7년 징역, 법적 처벌도 동시 강화

기술 대응과 함께 법적 처벌도 강화됐다. 공직선거법 제255조에 따라 선거일 90일 전부터 선거일까지 선거운동 목적으로 딥페이크 영상이나 음성을 제작·유포할 경우 7년 이하 징역 또는 1000만~5000만원 벌금형에 처해진다. AI로 제작된 영상이라도 이를 명확히 표시하지 않으면 과태료가 부과되고, 내용이 허위사실이면 별도로 허위사실 공표죄가 적용될 수 있다.

경찰청 홍석기 수사국장은 “최근 생성형 AI 기반 딥페이크가 등장하면서 기존 수사 방식만으로는 대응이 어려운 상황”이라며 “국과수 탐지 기술과 수사 경험을 결합해 대응 체계를 강화할 계획”이라고 밝혔다. 선관위는 유권자 신고와 모니터링 요원을 통해 딥페이크 콘텐츠를 상시 확인하고 있으며, 위반 영상 발견 시 즉각 삭제 요청이나 수사 의뢰 조치를 취하고 있다.