Investigación sobre la solidez del modelo de entrenamiento de tiempo de prueba de mundo abierto

Área de la Ciencia:

• Inteligencia artificial
• Seguridad del aprendizaje automático

Sus antecedentes:

• Los modelos de aprendizaje profundo luchan por generalizarse a nuevos dominios, motivando la capacitación / adaptación en el tiempo de prueba (TTT / TTA).
• El TTT de mundo abierto (OWTTT) aborda los desafíos para distinguir las muestras fuera de distribución, pero introduce nuevos riesgos de seguridad como los ataques de envenenamiento en el momento de la prueba.
• Los ataques de envenenamiento por tiempo de prueba difieren de los tradicionales ya que ocurren durante la fase de prueba del modelo, no durante el entrenamiento.

Objetivo del estudio:

• Introducir un nuevo método de ataque de envenenamiento de tiempo de prueba dirigido a los modelos OWTTT.
• Demostrar la vulnerabilidad de los modelos OWTTT a estos nuevos tipos de ataques.
• Hacer hincapié en la necesidad de medidas de seguridad sólidas en las metodologías OWTTT.

Principales métodos:

• Desarrolló un enfoque basado en consultas de un solo paso para generar y actualizar dinámicamente perturbaciones adversas.
• Gradientes del modelo que cambian dinámicamente durante la fase de ensayo.
• Las entradas generaron perturbaciones en el modelo OWTTT durante su fase de adaptación.

Principales resultados:

• El ataque de envenenamiento de tiempo de prueba propuesto comprometió significativamente el rendimiento de un modelo OWTTT.
• Los resultados experimentales confirmaron la efectividad del ataque en un escenario realista de OWTTT.
• Demostró una vulnerabilidad significativa en los modelos actuales de OWTTT.

Conclusiones:

• Los algoritmos OWTT sin evaluaciones de seguridad no son adecuados para el despliegue en el mundo real.
• Existe una necesidad crítica de integrar las defensas contra los ataques de envenenamiento de tiempo de prueba en las metodologías OWTTT.
• Las futuras investigaciones OWTTT deben dar prioridad a la seguridad junto con las capacidades de adaptación.