Una comparación de las tuberías de inferencia forestal de decisión de extremo a extremo

Área de la Ciencia:

• Aprendizaje automático
• Sistemas de bases de datos
• Gestión de los datos

Sus antecedentes:

• Los bosques de decisión (RandomForest, XGBoost, LightGBM) se destacan en los datos tabulares.
• Los marcos de inferencia existentes (ONNX, TreeLite, TF-DF, HummingBird, Nvidia FIL, lleaves) se desacoplan de las bases de datos, lo que provoca gastos generales de rendimiento.

Objetivo del estudio:

• Desarrollar y evaluar un sistema de inferencia en la base de datos para los bosques de decisión.
• Analizar las brechas de rendimiento entre la inferencia desacoplada y la de la base de datos utilizando un modelo DICT.
• Para comparar las representaciones en la base de datos centradas en UDF y en las relaciones.

Principales métodos:

• Desarrolló un modelo DICT para cuantificar las diferencias de rendimiento.
• Implementó y optimizó los enfoques de inferencia en la base de datos centrados en el UDF y en las relaciones.
• Se han llevado a cabo pruebas de referencia exhaustivas en relación con los marcos desacoplados y las soluciones de base de datos existentes (SparkSQL, PostgresML).

Principales resultados:

• El modelo DICT refleja con precisión las disparidades de rendimiento.
• La representación en base de datos centrada en la relación supera significativamente el enfoque centrado en el UDF para los modelos grandes.
• El diseño de inferencia en base de datos propuesto demuestra un rendimiento superior en todas las líneas de base evaluadas.

Conclusiones:

• La inferencia en la base de datos para los bosques de decisión ofrece ventajas significativas de rendimiento.
• La representación centrada en la relación es clave para optimizar la inferencia de modelos grandes dentro de las bases de datos.
• Este trabajo cierra la brecha entre la inferencia de aprendizaje automático y la gestión eficiente de datos.