schema2dwh

️ 중요 참고 사항!

schema2dwh AI(Google's Gemini)로 구동됩니다. 이를 프로덕션에 등록하기 전에 모든 코드 출력을 확인하세요. 또한 이 스크립트를 통한 처리는 Google에서 데이터를 처리하는 Gemini API를 활용한다는 점에 유의하세요.

Schema2dwh [AI 기반 DB 스키마를 DWH 스키마 생성 스크립트로 변환]

schema2dwh 는 정보 스키마를 사용하고 AI를 활용하며 입력에 대한 몇 가지 질문을 사용하여 데이터베이스를 기반으로 데이터 모델을 단순화하고 자동으로 생성하도록 설계된 오픈 소스 프레임워크입니다. 새로 구축된 데이터 웨어하우스 뒤에 있는 뼈대입니다.

특징

• 사용자로부터 필요한 입력을 대화형으로 수집
• Google Generative AI를 사용하여 STAR/SNOWFLAKE 스키마 생성
• 다양한 데이터베이스 소프트웨어(MySQL, SQL Server, PostgreSQL 등) 지원
• 지정된 데이터베이스 소프트웨어와 호환되는 SQL DDL 문을 출력합니다.
• 데이터베이스 사용자를 참조할 수 있도록 모든 열에 설명을 추가합니다.
• 생성된 스키마를 지정된 출력 파일에 저장합니다.

시사:

작동 방식에 대한 예는 아래를 참조하세요.

입력( my_schema.csv 사용하여 스크립트 실행:

출력 DDL( output_schema.sql :

전제조건

• 파이썬 3.x
• Google Generative AI Python 패키지( google-generativeai )
• Google Generative AI API 키 - https://aistudio.google.com/app/apikey

설치

1. 저장소를 복제합니다.

   git clone https://github.com/cqllum/schema2dwh.git
   cd schema2dwh

2. 필수 패키지를 설치합니다:

   pip install google-generativeai

3. Google Generative AI API 키 설정: 스크립트의 자리 표시 your-api-key 실제 Google Generative AI API 키로 바꿉니다. 여기에서 키를 생성하세요: https://aistudio.google.com/app/apikey

4. 예제 입력 스키마 파일(my_schema.csv) 바꾸기: 이 작업이 최대한 정확하려면 데이터베이스에서 정보 스키마를 가져와야 합니다. 대부분의 경우 SELECT * FROM information_schema.columns 만큼 간단합니다. 그렇지 않으면 데이터베이스 소프트웨어 설명서를 참고하세요.

용법

1. 스크립트를 실행합니다:

   python schema2dwh.py

2. 프롬프트를 따르십시오. 스크립트는 다음 정보를 묻는 메시지를 표시합니다.

   • 데이터베이스 소프트웨어(예: MySQL, SQL Server, PostgreSQL)
   • 데이터베이스/스키마 이름
   • 데이터베이스와 관련된 산업(예: 전자상거래, 건설, 보험)
   • 테이블/열의 명명 규칙(예: snake_case, PascalCase, camelCase)
   • CSV 형식의 정보 스키마에 대한 파일 경로
   • 보고를 위한 중요한 데이터 포인트

3. 출력: 스크립트는 DDL SQL 문을 생성하고 이를 output_schema.sql 에 저장합니다. 스키마를 생성할 수 없는 경우 적절한 정보 스키마를 제공하라는 메시지가 표시됩니다.

스크립트 구조

• configure_genai(api_key) : 제공된 API 키를 사용하여 Generative AI 모델을 구성합니다.
• create_model() : 지정된 설정으로 Generative AI 모델을 생성하고 구성합니다.
• start_chat_session(model) : 사전 정의된 지침을 사용하여 모델과의 채팅 세션을 시작합니다.
• gather_user_input() : 사용자로부터 필요한 입력을 대화형으로 수집합니다.
• format_response(db_software, db_name, industry, case_type, input_schema, additional_value) : 사용자 입력을 채팅 세션에 대한 응답으로 형식화합니다.
• save_schema_to_file(output_file, schema_output) : 생성된 스키마 출력을 지정된 파일에 저장합니다.
• main() : 스크립트를 구동하는 주요 함수입니다.