La tecnología Natural Language to SQL (NL2SQL) se está desarrollando rápidamente y se ha convertido en un avance clave en el campo del procesamiento del lenguaje natural. Permite a los usuarios consultar la base de datos utilizando lenguaje natural, lo que simplifica enormemente el acceso a los datos y mejora la eficiencia. Sin embargo, los métodos existentes presentan desafíos en términos de precisión y adaptabilidad, especialmente cuando se trata de bases de datos complejas y aplicaciones entre dominios. El editor de Downcodes le presentará el marco XiYan-SQL propuesto por el equipo de Alibaba y cómo este marco puede resolver estos problemas de manera efectiva.
Sin embargo, existe una cierta compensación entre la precisión de las consultas y la adaptabilidad durante la implementación de NL2SQL. Algunos métodos no pueden garantizar la precisión al generar consultas SQL y son difíciles de adaptar a diferentes tipos de bases de datos. Algunas soluciones existentes se basan en modelos de lenguaje grandes (LLM) para generar múltiples resultados y seleccionar la mejor consulta mediante ingeniería rápida, pero este enfoque aumenta la carga computacional y no es adecuado para aplicaciones en tiempo real. Al mismo tiempo, aunque el ajuste fino supervisado (SFT) puede lograr una generación SQL específica, enfrenta dificultades en aplicaciones entre dominios y operaciones complejas de bases de datos, por lo que se necesitan con urgencia marcos innovadores.
El equipo de investigación de Alibaba lanzó XiYan-SQL, un innovador marco NL2SQL. Incorpora una estrategia de conjunto de múltiples generadores que combina las ventajas de la ingeniería rápida y SFT. Una innovación clave de XiYan-SQL es la introducción de M-Schema, un método de representación de esquema semiestructurado que puede mejorar la comprensión del sistema de la jerarquía de la base de datos, incluidos los tipos de datos, claves primarias y valores de muestra, mejorando así la precisión y la capacidad. para ajustarse contextualmente a consultas SQL.
XiYan-SQL utiliza un proceso de tres etapas para generar y optimizar consultas SQL.
Primero, el sistema identifica elementos relevantes de la base de datos a través de enlaces arquitectónicos, reduciendo así la información redundante y centrándose en estructuras clave. A continuación, los candidatos de SQL se generan utilizando generadores basados en aprendizaje de ejemplos (ICL) y SFT. Finalmente, el sistema utiliza modelos de corrección de errores y modelos de selección para optimizar y filtrar el SQL generado para garantizar que se seleccione la mejor consulta. XiYan-SQL integra estos pasos en un proceso eficiente que va más allá de los métodos tradicionales.
Después de rigurosas pruebas comparativas, XiYan-SQL tuvo un buen desempeño en múltiples conjuntos de pruebas estándar. Por ejemplo, logró una precisión de ejecución del 89,65% en el conjunto de pruebas Spider, significativamente por delante de los mejores modelos anteriores.
Además, XiYan-SQL también logró excelentes resultados en términos de adaptabilidad a conjuntos de datos no relacionales, alcanzando una precisión del 41,20% en el conjunto de pruebas NL2GQL. Estos resultados demuestran que XiYan-SQL tiene una excelente flexibilidad y precisión en una variedad de escenarios.
github:https://github.com/XGenerationLab/XiYan-SQL
Con todo, el marco XiYan-SQL ha logrado avances significativos en el campo de NL2SQL con su innovador M-Schema y estrategias de integración de múltiples generadores, proporcionando una nueva solución para consultas de bases de datos en lenguaje natural eficientes y precisas. Su excelente rendimiento en múltiples conjuntos de pruebas también demuestra su gran viabilidad y amplias perspectivas de aplicación. Los lectores interesados pueden visitar el enlace de GitHub para obtener más información.