genai system evaluation

Оценка системы GenAI

В этом репозитории содержатся образцы блокнотов, демонстрирующие, как оценивать систему, дополненную LLM. Он предоставляет инструменты и методы для локальной оценки.

Среда

1. Убедитесь, что вы включили Claude Sonnet и Claude Haiku в консоли Bedrock.
2. Убедитесь, что у вас есть достаточные разрешения для вызова Bedrock из Python SDK (Boto3).

Местный

Эти ноутбуки были протестированы с использованием Python 3.12. Если вы работаете локально, убедитесь, что вы используете версию 3.12. Также убедитесь, что у вас есть настройка AWS CLI с учетными данными, которые вы хотите установить в профиле по умолчанию. Для этих учетных данных необходим доступ к моделям Amazon Bedrock.

Оглавление

• Структура папок
• Начиная
• Использование
• Авторы
• Благодарности
• Содействие
• Лицензия

Структура папок

 LLM-System-Validation/
├── data/                  # RAG context and validation datasets
├── example-notebooks/     # Notebooks for evaluating various components
|__ script/                # Various scripts for setting up environment.
|__ .github/               # Example github actions

Подробности

• data/ : содержит наборы данных, используемые для контекста и проверки расширенной генерации (RAG).
• example-notebooks/ : блокноты Jupyter, демонстрирующие оценку:
  • Стратегия встраивания и разделения на фрагменты
  • Реранжирование с большими размерами фрагментов
  • LLM-As-A-Judge Оперативное проектирование
  • РАГ Оперативный Инжиниринг
  • E2E RAG-тестирование

Начиная

1. Клонируем репозиторий:

    git clone [email protected]:aws-samples/genai-system-evaluation.git
   cd genai-system-evaluation
   

2. Настройте виртуальную среду:

    python -m venv venv
   source venv/bin/activate  # On Windows, use `venvScriptsactivate`
   

3. Установите необходимые зависимости:

    pip install -r requirements.txt
   

4. Загрузите документацию opensearch для контекста RAG.

   $ cd data && mkdir opensearch-docs && cd  opensearch-docs
   $ git clone https://github.com/opensearch-project/documentation-website.git

5. Перейдите к примерам блокнотов и запустите блокноты Jupyter!

   $ cd ../../example-notebooks
   $ jupyter notebook

6. Начните с тетради 1 и проработайте их!

Использование

1. Изучите примеры блокнотов в каталоге example-notebooks/ чтобы понять различные методы оценки.

Авторы

• Таннер Макрей — Начальная работа — github
• Феликс Хутмахер — Начальная работа — github

Безопасность

См. ВКЛАД для получения дополнительной информации.

Лицензия

Эта библиотека лицензируется по лицензии MIT-0. См. файл ЛИЦЕНЗИИ.