Hugging Face模型暴雷：极易生成露骨深度伪造内容

研究人员证实，托管在Hugging Face上的顶级图像编辑模型极易生成露骨的深度伪造（Deepfake）内容。针对最受欢迎的图像处理模型进行的测试表明，这些模型在防止生成露骨图像方面完全缺乏足够的安全防护机制。这一发现凸显了开源平台在监管生成式人工智能工具方面存在重大漏洞。

该研究对一千个用户提示词（Prompts）进行了分析，以了解该软件的实际应用情况。该数据集为个人在真实环境中如何与这些模型进行交互提供了直接证据。提示词分析阐明了人们引导该软件的具体方法，并揭示了用户行为的真实情况。

Hugging Face作为机器学习社区的核心代码库，在应对终端用户如何部署其托管模型方面正面临着越来越大的压力。研究人员能够如此轻易地生成露骨材料，直接引发了外界对平台责任以及现有内容审核策略有效性的质疑。

人工智能领域的企业战略通常将快速部署置于全面的安全测试之上。开源代码库必须在无限制的研究需求与恶意部署的现实之间取得平衡。顶级模型未能通过基本安全测试的发现，表明行业自律存在系统性失效，亟需平台运营方立即予以重视。

• ·研究人员对托管在Hugging Face上的顶级图像编辑模型进行了测试。
• ·测试发现这些模型极易生成露骨的深度伪造内容。
• ·对一千个提示词的分析揭示了用户如何与该软件进行交互。

Marissa Cross covers the policy, business, and competitive forces shaping the AI industry for the LiberaGPT team. A former technology reporter with a background in legal and regulatory affairs, she focuses on what the headlines miss.