genai system evaluation

GenAI 시스템 평가

이 저장소에는 LLM 강화 시스템을 평가하는 방법을 보여주는 샘플 노트북이 포함되어 있습니다. 이는 로컬 평가를 위한 도구와 방법을 제공합니다.

환경

1. Bedrock 콘솔에서 Claude Sonnet 및 Claude Haiku를 활성화했는지 확인하십시오.
2. Python SDK(Boto3)에서 Bedrock을 호출할 수 있는 적절한 권한이 있는지 확인하세요.

현지의

이 노트북은 Python 3.12로 테스트되었습니다. 로컬로 실행하는 경우 3.12를 사용하고 있는지 확인하세요. 또한 기본 프로필로 설정하려는 자격 증명을 사용하여 AWS CLI가 설정되어 있는지 확인하십시오. 이러한 자격 증명은 Amazon Bedrock 모델에 대한 액세스가 필요합니다.

목차

• 폴더 구조
• 시작하기
• 용법
• 저자
• 감사의 말
• 기여
• 특허

폴더 구조

 LLM-System-Validation/
├── data/                  # RAG context and validation datasets
├── example-notebooks/     # Notebooks for evaluating various components
|__ script/                # Various scripts for setting up environment.
|__ .github/               # Example github actions

세부

• data/ : RAG(Retrieval-Augmented Generation) 컨텍스트 및 유효성 검사에 사용되는 데이터 세트를 포함합니다.
• example-notebooks/ : 다음에 대한 평가를 보여주는 Jupyter 노트북:
  • 임베딩 및 청킹 전략
  • 큰 청크 크기로 순위 재지정
  • LLM-As-A-Judge 프롬프트 엔지니어링
  • RAG 프롬프트 엔지니어링
  • E2E RAG 테스트

시작하기

1. 저장소를 복제합니다.

    git clone [email protected]:aws-samples/genai-system-evaluation.git
   cd genai-system-evaluation
   

2. 가상 환경을 설정합니다:

    python -m venv venv
   source venv/bin/activate  # On Windows, use `venvScriptsactivate`
   

3. 필요한 종속성을 설치합니다.

    pip install -r requirements.txt
   

4. RAG 컨텍스트에 대한 opensearch 문서를 다운로드하세요.

   $ cd data && mkdir opensearch-docs && cd  opensearch-docs
   $ git clone https://github.com/opensearch-project/documentation-website.git

5. 노트북 예제로 이동하여 jupyter 노트북을 시작하세요!

   $ cd ../../example-notebooks
   $ jupyter notebook

6. 노트북 1부터 시작하여 끝까지 진행해 보세요!

용법

1. example-notebooks/ 디렉터리의 예제 노트북을 탐색하여 다양한 평가 기술을 이해하세요.

저자

• 태너 맥레이(Tanner McRae) - 초기 작업 - github
• Felix Huthmacher - 초기 작업 - github

보안

자세한 내용은 기여를 참조하세요.

특허

이 라이브러리는 MIT-0 라이선스에 따라 라이선스가 부여됩니다. 라이센스 파일을 참조하십시오.