Le domaine du traitement du langage naturel (NLP) a réalisé des progrès significatifs, notamment dans la technologie du langage naturel vers SQL (NL2SQL). Il existe un compromis entre précision et adaptabilité dans la méthode NL2SQL traditionnelle, et il est difficile de répondre aux besoins des différentes bases de données et des requêtes complexes. Cet article présentera le framework XiYan-SQL lancé par l'équipe de recherche d'Alibaba, comment ce framework résout ces défis grâce à des méthodes innovantes et améliore considérablement les performances de NL2SQL.
La technologie du langage naturel vers SQL (NL2SQL) se développe rapidement et est devenue une innovation importante dans le domaine du traitement du langage naturel (NLP). Cette technologie permet aux utilisateurs de convertir des requêtes en langage naturel en instructions SQL (Structured Query Language). Cette avancée facilite grandement l'interaction entre les utilisateurs qui manquent de connaissances techniques et de bases de données complexes pour obtenir des informations précieuses. La technologie NL2SQL ouvre non seulement de nouvelles portes à l'exploration de grandes bases de données dans divers secteurs, mais améliore également l'efficacité du travail et les capacités de prise de décision.
Cependant, il existe un certain compromis entre précision des requêtes et adaptabilité lors de la mise en œuvre de NL2SQL. Certaines méthodes ne peuvent pas garantir l'exactitude lors de la génération de requêtes SQL et sont difficiles à adapter aux différents types de bases de données. Certaines solutions existantes s'appuient sur des modèles de langage étendus (LLM) pour générer plusieurs sorties et sélectionner la meilleure requête grâce à une ingénierie rapide, mais cette approche augmente la charge de calcul et n'est pas adaptée aux applications en temps réel. Dans le même temps, bien que le réglage fin supervisé (SFT) puisse permettre une génération SQL ciblée, il se heurte à des difficultés dans les applications inter-domaines et les opérations de bases de données complexes. Des cadres innovants sont donc nécessaires de toute urgence.
L'équipe de recherche d'Alibaba a lancé XiYan-SQL, un framework NL2SQL révolutionnaire. Il intègre une stratégie d'ensemble multi-générateurs qui combine les avantages de l'ingénierie rapide et du SFT. Une innovation clé de XiYan-SQL est l'introduction de M-Schema, une méthode de représentation de schéma semi-structurée qui peut améliorer la compréhension du système de la hiérarchie de la base de données, y compris les types de données, les clés primaires et les exemples de valeurs, améliorant ainsi la précision et la capacité pour adapter contextuellement les requêtes SQL.
XiYan-SQL utilise un processus en trois étapes pour générer et optimiser les requêtes SQL.
Premièrement, le système identifie les éléments pertinents de la base de données via des liens architecturaux, réduisant ainsi les informations redondantes et se concentrant sur les structures clés. Ensuite, les candidats SQL sont générés à l'aide de générateurs basés sur l'apprentissage par exemple (ICL) et SFT. Enfin, le système utilise des modèles de correction d'erreurs et des modèles de sélection pour optimiser et filtrer le SQL généré afin de garantir que la meilleure requête est sélectionnée. XiYan-SQL intègre ces étapes dans un pipeline efficace qui va au-delà des méthodes traditionnelles.
Après des tests de référence rigoureux, XiYan-SQL a obtenu de bons résultats dans plusieurs ensembles de tests standard. Par exemple, il a atteint une précision d'exécution de 89,65 % dans l'ensemble de tests Spider, nettement supérieur aux modèles haut de gamme précédents.
De plus, XiYan-SQL a également obtenu d'excellents résultats en termes d'adaptabilité aux ensembles de données non relationnelles, atteignant une précision de 41,20 % dans l'ensemble de tests NL2GQL. Ces résultats démontrent que XiYan-SQL présente une excellente flexibilité et précision dans une variété de scénarios.
github :https://github.com/XGenerationLab/XiYan-SQL
Souligner:
Représentation architecturale innovante : M-Schema améliore la compréhension de la hiérarchie de la base de données et améliore la précision des requêtes.
Génération de candidats avancée : XiYan-SQL utilise plusieurs générateurs pour générer divers candidats SQL, améliorant ainsi la qualité des requêtes.
Adaptabilité supérieure : grâce à des tests de référence, XiYan-SQL a démontré ses excellentes performances dans une variété de bases de données, établissant ainsi une nouvelle norme de cadre NL2SQL.
Dans l'ensemble, XiYan-SQL, en tant que framework NL2SQL avancé, a réalisé des avancées significatives en termes de précision et d'adaptabilité grâce à sa représentation innovante de schéma M-Schema, sa stratégie d'intégration multi-générateurs et son processus d'optimisation efficace, fournissant une base pour l'amélioration des bases de données. des outils puissants pour une efficacité interactive et des opérations utilisateur simplifiées. Son lien GitHub permet aux développeurs de mieux comprendre et utiliser le framework.