Los modelos de Hugging Face, vulnerables a los 'deepfakes' explícitos

Investigadores han demostrado que los principales modelos de edición de imágenes alojados en Hugging Face pueden generar 'deepfakes' explícitos con suma facilidad. Las pruebas realizadas en los modelos de manipulación de imágenes más populares revelaron una ausencia total de salvaguardas adecuadas contra la generación de contenido explícito. Estos hallazgos subrayan vulnerabilidades significativas en la forma en que las plataformas de acceso abierto moderan las herramientas de inteligencia artificial generativa.

La investigación incluyó un análisis de mil indicaciones (prompts) de usuarios para comprender las aplicaciones prácticas del software. Este conjunto de datos proporciona evidencia directa de cómo los individuos interactúan con estos modelos en entornos reales. El análisis de las indicaciones ilustra los métodos exactos que emplean las personas para dirigir el software y expone la realidad del comportamiento del usuario.

Hugging Face opera como un repositorio central para la comunidad de aprendizaje automático (machine learning). La plataforma se enfrenta a una presión cada vez mayor para abordar cómo los usuarios finales implementan los modelos alojados. La facilidad con la que los investigadores generaron material explícito plantea interrogantes inmediatos sobre la responsabilidad de la plataforma y la eficacia de las estrategias de moderación actuales.

La estrategia corporativa en el sector de la inteligencia artificial prioriza con frecuencia el despliegue rápido sobre las pruebas de seguridad exhaustivas. Los repositorios de acceso abierto deben equilibrar el deseo de una investigación sin restricciones con la realidad de un uso malintencionado. El descubrimiento de que los principales modelos no superan las pruebas de seguridad básicas indica un fallo sistémico en la autorregulación de la industria y exige la atención inmediata de los operadores de las plataformas.

• ·Los investigadores probaron los principales modelos de edición de imágenes alojados en Hugging Face.
• ·Se descubrió que los modelos crean 'deepfakes' explícitos con gran facilidad.
• ·Un análisis de mil indicaciones reveló cómo interactúan los usuarios con el software.

Marissa Cross covers the policy, business, and competitive forces shaping the AI industry for the LiberaGPT team. A former technology reporter with a background in legal and regulatory affairs, she focuses on what the headlines miss.