GenAIExamples

Примеры генеративного ИИ

Введение

GenAIExamples предназначены для того, чтобы дать разработчикам легкий доступ к генеративному искусственному интеллекту и включают образцы на основе микросервисов, которые упрощают процессы развертывания, тестирования и масштабирования приложений GenAI. Все примеры полностью совместимы с Docker и Kubernetes, поддерживают широкий спектр аппаратных платформ, таких как Gaudi, Xeon и NVIDIA GPU, а также другое оборудование, обеспечивая гибкость и эффективность внедрения GenAI.

Архитектура

GenAIComps — это сервисный инструмент, включающий в себя такие микросервисные компоненты, как llm, внедрение, изменение ранжирования и т. д. Используя эти компоненты, можно построить различные примеры в GenAIExample, включая ChatQnA, DocSum и т. д.

GenAIInfra, часть пакета контейнеризации и облачных технологий OPEA, обеспечивает быстрое и эффективное развертывание GenAIExamples в облаке.

GenAIEval измеряет показатели производительности службы, такие как пропускная способность, задержка и точность для GenAIExamples. Эта функция помогает пользователям легко сравнивать производительность различных конфигураций оборудования.

Начиная

GenAIExamples предлагает гибкие варианты развертывания, отвечающие различным потребностям пользователей, что обеспечивает эффективное использование и развертывание в различных средах. Вот краткий обзор трех основных методов: запуск Python, Docker Compose и Kubernetes.

Пользователи могут выбрать наиболее подходящий подход, исходя из простоты установки, потребностей в масштабируемости и среды, в которой они работают.

Руководство по развертыванию

По умолчанию развертывание основано на выпущенных образах Docker. Подробную информацию можно найти в списке образов Docker. Вы также можете создавать свои собственные изображения, следуя инструкциям.

Предварительное условие

• Для развертывания на основе Docker Compose у вас должен быть установлен docker Compose. См. установку docker Compose.
• Для развертывания на основе Kubernetes мы предлагаем три способа: от самых простых манифестов до мощного развертывания на основе GMC.
  • У вас должен быть готов к использованию кластер Kubernetes. Если нет, вы можете обратиться к инструкции по установке k8s, чтобы развернуть его.
  • (Необязательно) Если вы хотите попробовать использовать GMC, в вашем кластере Kubernetes должен быть установлен GMC. Дополнительную информацию см. в разделе Установка GMC.
  • (Необязательно) Если вы хотите выполнить развертывание с помощью Helm Charts, у вас должен быть установлен Helm (версия >= 3.15). Дополнительную информацию см. в руководстве по установке Helm.

Примеры развертывания

Вариант использования	Докер Составление Развертывание на Xeon	Докер Составление Развертывание на Гауди	Kubernetes с манифестами	Kubernetes с Helm Charts	Кубернетес с GMC
ЧатQnA	Инструкции для Xeon	Инструкции Гауди	ChatQnA с манифестами	ChatQnA с диаграммами Helm	ChatQnA с GMC
Генератор кода	Инструкции для Xeon	Инструкции Гауди	Генератор кода с манифестами	Генератор кода с помощью Helm Charts	Генерация кода с помощью GMC
КодТранс	Инструкции для Xeon	Инструкции Гауди	CodeTrans с манифестами	CodeTrans с Helm Charts	КодТранс с GMC
ДокументСумма	Инструкции для Xeon	Инструкции Гауди	DocSum с манифестами	DocSum с диаграммами Helm	DocSum с GMC
ПоискQnA	Инструкции для Xeon	Инструкции Гауди	Не поддерживается	Не поддерживается	Поиск QnA с помощью GMC
FaqGen	Инструкции для Xeon	Инструкции Гауди	FaqGen с манифестами	Не поддерживается	FaqGen с GMC
Перевод	Инструкции для Xeon	Инструкции Гауди	Перевод с манифестами	Не поддерживается	Перевод с GMC
АудиоQnA	Инструкции для Xeon	Инструкции Гауди	AudioQnA с манифестами	Не поддерживается	AudioQnA с GMC
VisualQnA	Инструкции для Xeon	Инструкции Гауди	VisualQnA с манифестами	Не поддерживается	VisualQnA с GMC
Мультимодальный QnA	Инструкции для Xeon	Инструкции Гауди	Не поддерживается	Не поддерживается	Не поддерживается
ProductivitySuite	Инструкции для Xeon	Не поддерживается	ProductivitySuite с манифестами	Не поддерживается	Не поддерживается

Поддерживаемые примеры

Здесь вы найдете подробную информацию о поддерживаемых примерах, моделях, оборудовании и т. д.

Вклад в OPEA

Добро пожаловать в сообщество открытого исходного кода OPEA! Мы очень рады видеть вас здесь и воодушевлены потенциальным вкладом, который вы можете внести в платформу OPEA. Исправляете ли вы ошибки, добавляете новые компоненты GenAI, улучшаете документацию или делитесь своими уникальными вариантами использования — ваш вклад неоценим.

Вместе мы можем сделать OPEA идеальной платформой для корпоративных решений искусственного интеллекта. Давайте работать вместе, чтобы расширить границы возможного и создать будущее, в котором ИИ будет доступен, эффективен и эффективен для каждого.

Пожалуйста, ознакомьтесь с рекомендациями по участию, чтобы получить подробное руководство о том, как внести свой вклад в компонент GenAI, а также о том, как вы можете внести свой вклад!

Спасибо за то, что вы были частью этого путешествия. Нам не терпится увидеть, чего мы сможем достичь вместе!

Дополнительный контент

• Нормы поведения
• Политика безопасности
• Юридическая информация