틱톡의 소유주인 바이트댄스(ByteDance)의 연구원들이 새로운 AI 시스템, 옴니휴먼-1(OmniHuman-1)을 시연했는데, 이는 지금까지 나온 가장 사실적인 딥페이크 비디오를 생성할 수 있습니다.
딥페이크 AI는 이제 일상적인 기술이 되었습니다. 사진에 누군가를 삽입하거나, 실제로 말하지 않은 것을 말하는 것처럼 보이게 만드는 앱이 넘쳐납니다. 그러나 대부분의 딥페이크, 특히 비디오 딥페이크는 언캐니 밸리를 넘지 못합니다. 어디선가 AI가 개입되었다는 명확한 증거나 흔적이 보통 있습니다.
옴니휴먼-1의 경우는 다릅니다 — 적어도 바이트댄스 팀이 공개한 선택받은 샘플에서는 그렇습니다. 옴니휴먼-1은 이전의 딥페이크 기술들을 쉽게 능가하며, 이것은 미래의 징조일지도 모릅니다. 바이트댄스는 이 시스템을 아직 공개하지 않았지만, AI 커뮤니티는 이런 모델을 역공학하는 데 오랜 시간이 걸리지 않습니다.
이에 따른 영향은 우려스럽습니다.
지난 해, 정치적 딥페이크가 전 세계적으로 번졌습니다. 대만의 선거일에 중국 공산당과 연관된 그룹이 한 정치인이 중국 친화적인 후보를 지지한다는 오도된 AI 생성 오디오를 게시했습니다. 몰도바에서는 대통령 마이아 산두가 사임하는 것처럼 보이는 딥페이크 비디오가 있었고, 남아프리카공화국에서는 래퍼 에미넘이 한 야당을 지지하는 딥페이크가 선거를 앞두고 유포되었습니다.
딥페이크는 또한 금융 범죄를 실행하는 데 점점 더 많이 사용되고 있습니다. 소비자들은 사기 투자 기회를 제안하는 유명인 딥페이크에 속고 있으며, 기업들은 딥페이크 사칭자들에 의해 수백만 달러를 사기로 잃고 있습니다. 딜로이트에 따르면, 2023년 AI 생성 콘텐츠로 인한 사기 손실이 120억 달러를 넘었으며, 2027년까지 미국에서 400억 달러에 이를 수 있다고 합니다.
지난 2월, AI 커뮤니티의 수백 명이 딥페이크 규제를 강화할 것을 요구하는 공개 서한에 서명했습니다. 미국 연방 수준에서 딥페이크를 범죄화하는 법이 없기 때문에, 10개 이상의 주에서 AI 지원 사칭에 반대하는 법을 제정했습니다. 캘리포니아의 법안 — 현재 정체되어 있지만 —은 판사들이 딥페이크 게시자를 제거하거나 금전적 벌금을 받게 할 수 있는 권한을 부여하는 최초의 법안이 될 것입니다.
불행히도, 딥페이크는 탐지하기 어렵습니다. 일부 소셜 네트워크와 검색 엔진이 확산을 제한하기 위해 조치를 취했지만, 온라인에 있는 딥페이크 콘텐츠의 양은 놀랍게도 빠르게 증가하고 있습니다.
2024년 5월, ID 검증 회사 Jumio의 설문 조사에 따르면, 60%의 사람들이 지난 해에 딥페이크를 접했다고 응답했습니다. 설문에 응한 사람들 중 72%가 일상적으로 딥페이크에 속을까 걱정된다고 말했으며, 대부분이 AI 생성된 가짜의 확산을 다루기 위한 입법을 지지했습니다.
