Investigación de la toxicidad y el sesgo en modelos de difusión estable de texto a imagen

Área de la Ciencia:

• Inteligencia artificial
• Visión por computadora
• Ética de la IA

Sus antecedentes:

• Los modelos de texto a imagen están avanzando rápidamente, lo que plantea importantes preocupaciones de seguridad y equidad.
• La creciente accesibilidad de la generación de imágenes de IA requiere una evaluación exhaustiva de los daños potenciales.

Objetivo del estudio:

• Investigar la propensión de los modelos populares de difusión estable a generar contenido dañino.
• Identificar los sesgos presentes en las imágenes generadas por la IA en respuesta a las indicaciones dañinas.

Principales métodos:

• Evaluación de diez modelos de difusión estable utilizando señales perjudiciales.
• Análisis de imágenes generadas para contenido sexual, violento y sensible.
• Evaluación del comportamiento de rechazo del modelo y de los mecanismos de seguridad.

Principales resultados:

• Los modelos generaron contenido inapropiado, incluyendo imágenes sexuales y violentas.
• Se observaron sesgos significativos, como la representación desproporcionada de personas negras en contextos violentos.
• No se detectaron comportamientos de rechazo ni medidas de seguridad en los modelos evaluados.

Conclusiones:

• Los modelos actuales de difusión estable carecen de características de seguridad esenciales, lo que plantea riesgos.
• Abordar los sesgos e implementar protocolos de seguridad es fundamental para el desarrollo responsable de la IA.
• La integración generalizada de la generación de imágenes de IA exige una atención urgente a las consideraciones éticas.