SuperKnowa

СуперНова

Fast Framework для построения корпоративных конвейеров RAG (Retriever Augmented Generation) в масштабе — на базе watsonx

Добро пожаловать в репозиторий SuperKnova GitHub! Платформа SuperKnova ускоряет ваши корпоративные приложения генеративного искусственного интеллекта, позволяя быстро получать готовые решения для ваших личных данных. Здесь вы найдете разнообразную коллекцию подключаемых компонентов, предназначенных для решения различных случаев использования генеративного искусственного интеллекта с использованием моделей большого языка (LLM). Думайте об этих компонентах как о строительных блоках, похожих на детали Lego, которые вы можете собрать для решения широкого спектра задач в области генерации текста на основе искусственного интеллекта. Они проверены в бою с частной базой знаний от 1 до 200 миллионов и масштабированы до миллиардов токенов ретриверов.

Общий конвейер структуры SuperKnova RAG и ключевые строительные блоки:

Настраиваемые компоненты для конвейера SuperKnova RAG с помощью одного файла:

SuperKnova — это мощная платформа, разработанная с использованием watsonx (посмотрите видео на watsonx.ai здесь), которая использует возможности моделей большого языка (LLM) для предложения ряда расширенных вариантов использования генеративного ИИ. Этот репозиторий знакомит вас с различными вариантами использования SuperKnova.

Узнайте больше о SuperKnova в нашем полезном сообщении в блоге:

Обложка блога — SuperKnova: создание масштабных корпоративных решений RAG https://medium.com/towards-generative-ai/superknowa-simplest-framework-yet-to-swiftly-build-enterprise-rag-solutions-at-scale-ca90b49be28a

Заявка на онлайн-вопросы и ответы в частной базе знаний

Попробуйте платформу SuperKnowa с действующим приложением, созданным на основе частной базы знаний, состоящей из 1 миллиона разнообразных документов:

https://superknowa.tsglwatson.buildlab.cloud/

(Если у вас нет IBM ID, получите его здесь — https://www.ibm.com/account/reg/us-en/signup?formid=urx-19776)

Начиная

Вы можете начать с обновления файла config.yaml и запуска сценария LLMQnA.py для быстрой настройки конвейера RAG:

 retriever:
  indexName: superknowa
  query: What is IBM Cloud?
  ....

reranker:
  query: What is IBM Data and Analytics Reference Architecture?
  ...

LLMQnA:
  question: What is IBM Data and Analytics Reference Architecture?
  ...

Чтобы изучить функции и возможности SuperKnova, обратитесь к серии блогов, примерам кода и ресурсам, представленным в этом репозитории.

Для получения подробных инструкций и примеров перейдите в каталог каждого компонента. Раскройте потенциал больших языковых моделей в своих проектах, используя генеративные компоненты Lego для искусственного интеллекта от SuperKnova!

Давайте раскроем потенциал генеративного искусственного интеллекта с помощью SuperKnova и сформируем будущее обработки знаний на основе искусственного интеллекта!

Содержимое репозитория

1. Индексирование документов

   1. Эластичный поиск

   2. Солр

   3. Уотсон Дискавери

2. Нейронный ретривер

   1. Эластичный поиск

   2. Солр

3. Ре-Рейкер

4. Контекстное обучение с использованием LLM

5. LLM оценки

   1. Оценка модели LLM

   2. Интеграция MLFLOW

6. Тонкая настройка

   1. Проинструктировать БД

   2. Точная настройка Falcon 7B с использованием QLORA

   3. Точная настройка LLAMA2 7B с использованием QLORA

7. Модель RLHF

8. Развертывание и вывод

   1. Бэкэнд

   2. Развертывание

9. Инструмент выравнивания AI

   1. Улавливайте обратную связь от людей
   2. Панель администратора для результатов согласования ИИ

10. Варианты использования корпоративного LLM

Инструмент выравнивания AI

Измеряйте согласованность моделей ИИ по таким показателям, как полезность, вредность и точность, фиксируя вклад человека.

Панель результатов

Проводите различные онлайн- и офлайн-эксперименты для оценки и сравнивайте результаты согласования ИИ с помощью интерактивной информационной панели.

LLM Eval Toolkit

Eval_Package

Eval_Package — это инструмент, предназначенный для оценки эффективности LLM (языковой модели) в наборе данных, содержащем вопросы, контекст и идеальные ответы. Это позволяет вам проводить оценки различных наборов данных и оценивать, насколько хорошо модель дает ответ по десяткам статистических показателей, таких как BLUE, ROUGE и т. д.

Функции

• Оценка модели LLM на пользовательских наборах данных. Используйте Eval_Package, чтобы оценить производительность вашей модели на выбранных вами наборах данных.
• Измерение точности модели: пакет предоставляет метрики для измерения точности ответов, сгенерированных моделью, по сравнению с идеальными ответами.

MLflow_Package

MLflow_Package — это комплексный набор инструментов, предназначенный для интеграции результатов Eval_Package и эффективного отслеживания экспериментов и управления ими. Это также позволяет вам создавать таблицу лидеров для сравнения оценок и визуализировать показатели через панель мониторинга.

Функции

• Поддерживаемые статистические показатели: BLEU, METEOR, ROUGE, SentenceSim Score, SimHash Score, Perplexity Score, BLEURT Score, F1 Score и BERT.
• Отслеживание экспериментов. Используйте MLflow для ведения учета экспериментов, включая параметры, метрики и артефакты модели, созданные во время оценок.
• Создание таблицы лидеров: пакет позволяет создавать таблицу лидеров, что позволяет легко сравнивать производительность различных моделей в нескольких наборах данных.
• Визуализация показателей: создавайте подробные диаграммы и графики с помощью информационной панели, что позволяет легко визуализировать и анализировать показатели оценки.

Варианты использования корпоративного LLM

Ниже приведен список вариантов использования генеративного ИИ, созданных с использованием платформы SuperKnova.

1. Разговорные вопросы и ответы в частной базе знаний

Участвуйте в общении на естественном языке с помощью разговорной системы вопросов и ответов (Q&A) SuperKnova. Задавайте вопросы, основанные на базе знаний частного предприятия, и получайте подробные, контекстно-зависимые ответы.

2. Спросите свои PDF/документы

Воспользуйтесь функцией SuperKnova «Спросите ваши документы», чтобы раскрыть потенциал ваших PDF-файлов и текстовых документов. SuperKnowa может помочь вам извлечь соответствующую информацию, ответить на конкретные вопросы и помочь в поиске информации.

3. Подведение итогов

С легкостью создавайте связные и информативные сводки с помощью функции суммирования SuperKnova для больших текстовых массивов с использованием FlanT5 и UL2. Извлекайте основные моменты и важные детали из статей, отчетов и других текстов, обеспечивая эффективное понимание контента.

4. Ключевые моменты вашего PDF-файла

Функция абстрактного суммирования SuperKnova выходит за рамки простого извлечения с использованием FlanUL2 и LLAMA2. Он может анализировать длинные PDF-документы и создавать краткие абстрактные резюме, отражающие суть контента. Кроме того, SuperKnovaa определяет ключевые моменты, облегчая понимание и передачу сложной информации.

5. Текст в SQL

Испытайте мощь функции преобразования текста в SQL SuperKnova, которая преобразует запросы на естественном языке в структурированные запросы SQL. Взаимодействуйте с базами данных, используя простой язык, устраняя необходимость в знаниях SQL.

Команда создания лаборатории

Создано и спроектировано

• Кунал Саваркар, главный специалист по данным

Строители

• Шивам Соланки, старший консультативный специалист по данным
• Майкл Сприггс, главный архитектор
• Кевин Хуанг, старший инженер ML-Ops
• Абхилаша Мангал, старший специалист по данным
• Сахил Десаи, специалист по данным
• Амит Хандельвал — старший специалист по данным
• Химадри Талукдер — старший инженер-программист
• Тайлер Бенсон — специалист по данным

Отказ от ответственности

Эта платформа разработана Build Lab, IBM Ecosystem. Обратите внимание, что этот контент доступен для содействия внедрению технологий встраиваемого искусственного интеллекта и обслуживания партнеров по экосистеме. Содержимое может включать системы и методы, находящиеся на рассмотрении патента USPTO и защищенные патентным законодательством США. SuperKnova — это не продукт, а платформа, построенная на основе IBM watsonx вместе с другими продуктами, такими как модели LLAMA от Meta и ML Flow от Databricks. Использование SuperKnova безоговорочно требует согласия с Условиями использования этих продуктов. Эта платформа предоставляется «как есть» для ускорения разработки корпоративных приложений GenAI. В случае возникновения вопросов обращайтесь по адресу [email protected].

Авторские права @ 2023, корпорация IBM.