schema2dwh

️ Remarque importante !

schema2dwh est alimenté par l'IA - Gemini de Google - Veuillez vous assurer de vérifier toutes les sorties de code avant de l'inscrire en production. Veuillez également noter que le traitement via ce script utilisera l'API Gemini où les données sont traitées par Google.

schema2dwh [Schéma de base de données alimenté par AI vers script de création de schéma DWH]

schema2dwh est un framework open source conçu pour simplifier et produire automatiquement un modèle de données basé sur votre base de données en utilisant son schéma d'information, tirer parti de l'IA et quelques questions sur vos entrées, il vous produira rapidement un fichier SQL DDL, prêt à créer le squelette derrière votre entrepôt de données nouvellement construit.

Caractéristiques

• Recueillir de manière interactive les entrées nécessaires de l'utilisateur
• Utilisez Google Generative AI pour générer un schéma STAR/SNOWFLAKE
• Prend en charge divers logiciels de bases de données (MySQL, SQL Server, PostgreSQL, etc.)
• Produit des instructions SQL DDL compatibles avec le logiciel de base de données spécifié
• ajoute des commentaires à toutes les colonnes pour référence aux utilisateurs de votre base de données
• Enregistre le schéma généré dans un fichier de sortie spécifié

Aperçu :

Veuillez voir ci-dessous un exemple de la façon dont cela fonctionne.

Entrée (Exécution du script à l'aide de my_schema.csv :

Sortie DDL ( output_schema.sql :

Conditions préalables

• Python 3.x
• Package Google Generative AI Python ( google-generativeai )
• Clé API Google Generative AI - https://aistudio.google.com/app/apikey

Installation

1. Clonez le dépôt :

   git clone https://github.com/cqllum/schema2dwh.git
   cd schema2dwh

2. Installez les packages requis :

   pip install google-generativeai

3. Configurez votre clé API Google Generative AI : remplacez l'espace réservé your-api-key dans le script par votre clé API Google Generative AI réelle. Générez une clé ici : https://aistudio.google.com/app/apikey

4. Remplacer l'exemple de fichier de schéma d'entrée (my_schema.csv) : Veuillez noter que pour que cela soit aussi précis que possible, vous devrez récupérer le schéma d'informations de votre base de données. Dans la plupart des cas, c'est aussi simple que SELECT * FROM information_schema.columns - Sinon, consultez la documentation de votre logiciel de base de données.

Usage

1. Exécutez le script :

   python schema2dwh.py

2. Suivez les invites : Le script vous demandera les informations suivantes :

   • Logiciel de base de données (par exemple, MySQL, SQL Server, PostgreSQL)
   • Nom de la base de données/schéma
   • Secteur lié à votre base de données (par exemple, commerce électronique, construction, assurance)
   • Convention de dénomination pour les tables/colonnes (par exemple, Snake_case, PascalCase, CamelCase)
   • Chemin d'accès au schéma d'information au format CSV
   • Points de données importants pour le reporting

3. Sortie : le script générera les instructions SQL DDL et les enregistrera dans output_schema.sql . Si le schéma ne peut pas être généré, il vous sera demandé de fournir un schéma d'informations approprié.

Structure du script

• configure_genai(api_key) : configure le modèle Generative AI avec la clé API fournie.
• create_model() : crée et configure le modèle Generative AI avec les paramètres spécifiés.
• start_chat_session(model) : Démarre une session de discussion avec le modèle en utilisant des instructions prédéfinies.
• gather_user_input() : rassemble les entrées nécessaires de l'utilisateur de manière interactive.
• format_response(db_software, db_name, industry, case_type, input_schema, additional_value) : formate les entrées de l'utilisateur dans une réponse pour la session de discussion.
• save_schema_to_file(output_file, schema_output) : enregistre la sortie du schéma générée dans le fichier spécifié.
• main() : La fonction principale qui pilote le script.