schema2dwh

️重要な注意事項!

schema2dwhは AI (Google の Gemini) を利用しています。これを運用環境に登録する前に、すべてのコード出力を必ず確認してください。また、このスクリプトによる処理では、データが Google によって処理される Gemini API が利用されることにも注意してください。

schema2dwh [AI を活用した DB スキーマから DWH スキーマへの作成スクリプト]

schema2dwhは、情報スキーマを使用してデータベースに基づいてデータ モデルを簡素化および自動的に生成するように設計されたオープンソース フレームワークであり、AI を活用し、入力に関するいくつかの質問を行うと、すぐに SQL DDL ファイルを生成し、新しく構築されたデータ ウェアハウスの背後にあるスケルトン。

特徴

• ユーザーから必要な入力を対話的に収集します
• Google Generative AI を使用して STAR/SNOWFLAKE スキーマを生成する
• さまざまなデータベース ソフトウェア (MySQL、SQL Server、PostgreSQL など) をサポート
• 指定されたデータベース ソフトウェアと互換性のある SQL DDL ステートメントを出力します。
• データベース ユーザーへの参照のためにすべての列にコメントを追加します
• 生成されたスキーマを指定された出力ファイルに保存します

プレビュー:

その仕組みの例については、以下を参照してください。

入力 ( my_schema.csvを使用してスクリプトを実行:

出力 DDL ( output_schema.sql :

前提条件

• Python 3.x
• Google Generative AI Python パッケージ ( google-generativeai )
• Google Generative AI API キー - https://aistudio.google.com/app/apikey

インストール

1. リポジトリのクローンを作成します。

   git clone https://github.com/cqllum/schema2dwh.git
   cd schema2dwh

2. 必要なパッケージをインストールします。

   pip install google-generativeai

3. Google Generative AI API キーをセットアップする:スクリプト内のプレースホルダーyour-api-keyを実際の G​​oogle Generative AI API キーに置き換えます。ここでキーを生成します: https://aistudio.google.com/app/apikey

4. 入力スキーマ ファイルの例 (my_schema.csv) を置き換えます。これをできるだけ正確にするために、データベースから情報スキーマをフェッチする必要があることに注意してください。ほとんどの場合、これはSELECT * FROM information_schema.columnsと同じくらい簡単です。それ以外の場合は、データベース ソフトウェアのドキュメントを参照してください。

使用法

1. スクリプトを実行します。

   python schema2dwh.py

2. プロンプトに従ってください:スクリプトにより、次の情報の入力が求められます。

   • データベース ソフトウェア (例: MySQL、SQL Server、PostgreSQL)
   • データベース/スキーマ名
   • データベースに関連する業界 (e コマース、建設、保険など)
   • テーブル/列の命名規則 (snake_case、PascalCase、camelCase など)
   • CSV 形式の情報スキーマへのファイル パス
   • レポートのための重要なデータポイント

3. 出力:スクリプトは DDL SQL ステートメントを生成し、 output_schema.sqlに保存します。スキーマを生成できない場合は、適切な情報スキーマを提供するように求められます。

スクリプトの構造

• configure_genai(api_key) : 提供された API キーを使用して生成 AI モデルを構成します。
• create_model() : 指定された設定で生成 AI モデルを作成および構成します。
• start_chat_session(model) : 事前定義された命令を使用して、モデルとのチャット セッションを開始します。
• gather_user_input() : ユーザーから対話的に必要な入力を収集します。
• format_response(db_software, db_name, industry, case_type, input_schema, additional_value) : ユーザー入力をチャット セッションの応答にフォーマットします。
• save_schema_to_file(output_file, schema_output) : 生成されたスキーマ出力を指定されたファイルに保存します。
• main() : スクリプトを駆動するメイン関数。