GenAIExamples

Contoh AI Generatif

Perkenalan

GenAIExamples dirancang untuk memberi pengembang kemudahan masuk ke AI generatif, menampilkan sampel berbasis layanan mikro yang menyederhanakan proses penerapan, pengujian, dan penskalaan aplikasi GenAI. Semua contoh sepenuhnya kompatibel dengan Docker dan Kubernetes, mendukung berbagai platform perangkat keras seperti Gaudi, Xeon, dan GPU NVIDIA, serta perangkat keras lainnya, memastikan fleksibilitas dan efisiensi untuk adopsi GenAI Anda.

Arsitektur

GenAIComps adalah alat berbasis layanan yang mencakup komponen layanan mikro seperti llm, penyematan, pemeringkatan ulang, dan sebagainya. Dengan menggunakan komponen ini, berbagai contoh di GenAIExample dapat dibuat, termasuk ChatQnA, DocSum, dll.

GenAIInfra, bagian dari containerisasi OPEA dan rangkaian cloud-native, memungkinkan penerapan GenAIExamples dengan cepat dan efisien di cloud.

GenAIEval mengukur metrik kinerja layanan seperti throughput, latensi, dan akurasi untuk GenAIExamples. Fitur ini membantu pengguna membandingkan kinerja di berbagai konfigurasi perangkat keras dengan mudah.

Memulai

GenAIExamples menawarkan opsi penerapan fleksibel yang memenuhi kebutuhan pengguna yang berbeda, memungkinkan penggunaan dan penerapan yang efisien di berbagai lingkungan. Berikut gambaran singkat tentang tiga metode utama: startup Python, Docker Compose, dan Kubernetes.

Pengguna dapat memilih pendekatan yang paling sesuai berdasarkan kemudahan pengaturan, kebutuhan skalabilitas, dan lingkungan di mana mereka beroperasi.

Panduan Penerapan

Penempatan didasarkan pada gambar buruh pelabuhan yang dirilis secara default, periksa daftar gambar buruh pelabuhan untuk informasi rinci. Anda juga dapat membuat gambar Anda sendiri dengan mengikuti petunjuk.

Prasyarat

• Untuk penerapan berbasis Docker Compose, Anda harus menginstal docker composer. Lihat instalasi penulisan buruh pelabuhan.
• Untuk penerapan berbasis Kubernetes, kami menyediakan 3 cara mulai dari manifes yang paling mudah hingga penerapan berbasis GMC yang canggih.
  • Anda harus memiliki cluster kubernetes yang siap digunakan. Jika tidak, Anda dapat merujuk ke instalasi k8s untuk menerapkannya.
  • (Opsional) Anda harus menginstal GMC ke cluster kubernetes jika ingin mencoba dengan GMC. Lihat instalasi GMC untuk informasi lebih lanjut.
  • (Opsional) Anda harus menginstal Helm (versi >= 3.15) jika ingin menerapkan dengan Helm Charts. Lihat Panduan Pemasangan Helm untuk informasi lebih lanjut.

Contoh Penerapan

Kasus Penggunaan	Penulisan Docker Penerapan di Xeon	Penulisan Docker Penempatan di Gaudi	Kubernetes dengan Manifes	Kubernetes dengan Bagan Helm	Kubernet dengan GMC
ObrolanQnA	Instruksi Xeon	Instruksi Gaudi	ChatQnA dengan Manifes	ChatQnA dengan Bagan Helm	NgobrolQnA dengan GMC
KodeGen	Instruksi Xeon	Instruksi Gaudi	CodeGen dengan Manifes	CodeGen dengan Bagan Helm	CodeGen dengan GMC
KodeTrans	Instruksi Xeon	Instruksi Gaudi	CodeTrans dengan Manifes	CodeTrans dengan Bagan Helm	CodeTrans dengan GMC
DokumenSum	Instruksi Xeon	Instruksi Gaudi	DocSum dengan Manifes	DocSum dengan Bagan Helm	DocSum dengan GMC
PencarianQnA	Instruksi Xeon	Instruksi Gaudi	Tidak Didukung	Tidak Didukung	CariQnA dengan GMC
FaqGen	Instruksi Xeon	Instruksi Gaudi	FaqGen dengan Manifes	Tidak Didukung	FaqGen dengan GMC
Terjemahan	Instruksi Xeon	Instruksi Gaudi	Terjemahan dengan Manifest	Tidak Didukung	Terjemahan dengan GMC
AudioQnA	Instruksi Xeon	Instruksi Gaudi	AudioQnA dengan Manifes	Tidak Didukung	AudioQnA dengan GMC
VisualQnA	Instruksi Xeon	Instruksi Gaudi	VisualQnA dengan Manifes	Tidak Didukung	VisualQnA dengan GMC
MultimodalQnA	Instruksi Xeon	Instruksi Gaudi	Tidak didukung	Tidak didukung	Tidak didukung
ProduktivitasSuite	Instruksi Xeon	Tidak Didukung	ProductivitySuite dengan Manifes	Tidak Didukung	Tidak Didukung

Contoh yang Didukung

Periksa di sini untuk informasi mendetail tentang contoh, model, perangkat keras yang didukung, dll.

Berkontribusi pada OPEA

Selamat datang di komunitas sumber terbuka OPEA! Kami sangat senang menerima Anda di sini dan gembira dengan potensi kontribusi yang dapat Anda berikan pada platform OPEA. Baik Anda memperbaiki bug, menambahkan komponen GenAI baru, menyempurnakan dokumentasi, atau membagikan kasus penggunaan unik Anda, kontribusi Anda sangat berharga.

Bersama-sama, kita dapat menjadikan OPEA sebagai platform terdepan untuk solusi AI perusahaan. Mari kita bekerja sama untuk mendorong batasan dari apa yang mungkin terjadi dan menciptakan masa depan di mana AI dapat diakses, efisien, dan berdampak bagi semua orang.

Silakan periksa pedoman Berkontribusi untuk panduan terperinci tentang cara berkontribusi pada komponen GenAI dan semua cara yang dapat Anda lakukan untuk berkontribusi!

Terima kasih telah menjadi bagian dari perjalanan ini. Kami tidak sabar untuk melihat apa yang bisa kami capai bersama!

Konten Tambahan

• Kode Etik
• Kebijakan Keamanan
• Informasi Hukum