허깅페이스 모델, 노골적인 딥페이크 생성에 취약점 노출

연구진은 허깅페이스(Hugging Face)에 호스팅된 주요 이미지 편집 모델들이 노골적인 딥페이크를 쉽게 생성할 수 있음을 입증했다. 가장 인기 있는 이미지 조작 모델들을 대상으로 진행된 테스트 결과, 노골적인 이미지 생성을 방지할 수 있는 적절한 안전장치가 완전히 부재한 것으로 드러났다. 이번 연구 결과는 오픈 액세스 플랫폼이 생성형 인공지능 도구를 검열하는 방식에 중대한 취약점이 있음을 시사한다.

이번 연구에는 소프트웨어의 실제 활용 사례를 파악하기 위해 1,000개의 사용자 프롬프트를 분석하는 과정이 포함되었다. 이 데이터셋은 실제 환경에서 개인이 이러한 모델과 어떻게 상호작용하는지 보여주는 직접적인 증거를 제공한다. 프롬프트 분석은 사람들이 소프트웨어를 제어하기 위해 사용하는 정확한 방식을 보여주며 사용자 행동의 실태를 적나라하게 드러낸다.

허깅페이스는 머신러닝 커뮤니티의 중앙 저장소 역할을 수행하고 있다. 현재 이 플랫폼은 최종 사용자가 호스팅된 모델을 배포하는 방식에 대해 대책을 마련해야 한다는 거센 압박에 직면해 있다. 연구진이 노골적인 콘텐츠를 너무나도 쉽게 생성했다는 사실은 플랫폼의 책임 소재와 현행 모니터링 전략의 실효성에 대한 즉각적인 의문을 제기한다.

인공지능 분야의 기업 전략은 종종 포괄적인 안전성 테스트보다 빠른 배포를 우선시한다. 오픈 액세스 저장소는 제한 없는 연구에 대한 열망과 악의적인 배포라는 현실 사이에서 균형을 맞춰야만 한다. 주요 모델들이 기본적인 안전 테스트조차 통과하지 못했다는 발견은 업계 자율 규제의 시스템적 실패를 의미하며, 플랫폼 운영자들의 즉각적인 주의를 요구한다.

• ·연구진은 허깅페이스에 호스팅된 주요 이미지 편집 모델들을 테스트했다.
• ·해당 모델들은 노골적인 딥페이크를 쉽게 생성할 수 있는 것으로 밝혀졌다.
• ·1,000개의 프롬프트 분석을 통해 사용자가 소프트웨어와 상호작용하는 방식이 드러났다.

Marissa Cross covers the policy, business, and competitive forces shaping the AI industry for the LiberaGPT team. A former technology reporter with a background in legal and regulatory affairs, she focuses on what the headlines miss.