llm starter pack

Paket Pemula LLM Cloud Native

Prasyarat

• Buruh pelabuhan
• baik
  • kind adalah "Kubernetes di Docker," yang digunakan oleh proyek Kubernetes untuk membantu menguji fitur dan menjalankan pengujian integrasi. Ternyata ini adalah cara praktis bagi siapa pun untuk membuat cluster dengan cepat. Terima kasih banyak kepada @bentheelder karena telah mengembangkannya ?? ??
• kubectl
  • kubectl adalah cara Anda berinteraksi dengan k8s menggunakan baris perintah. Ini memungkinkan Anda menjadi pembisik k8s :-)

Rintisan

Kami telah membuat beberapa skrip untuk membuat demo ini berjalan secepat mungkin di mesin Anda setelah Anda menginstal prasyaratnya.

Skrip ini akan:

• Buat cluster yang baik
• Terapkan manifes Kubernetes yang kami perlukan untuk demo chatbot LLM kami
• Gunakan penerusan porta untuk membantu kami mengakses layanan kami di browser sehingga kami dapat mengajukan pertanyaan LLM kami

Catatan: Setelah menerapkan manifes Kubernetes, cluster kita akan memerlukan waktu sekitar 3-4 menit untuk mendownload image, menginisialisasi LLM, dan memulai aplikasi. Anda dapat memantau status pod dengan menjalankan kubectl get pods

./startup.sh

Demo

Selanjutnya, kita bisa menginstal aplikasi demo yang menggunakan LLM.

./demo.sh

Jika Anda ingin menghapus atau meruntuhkan aplikasi demo saja, Anda dapat menjalankannya

./teardown.sh

Penutupan

Untuk mematikan demo, jalankan perintah berikut, yang akan:

• Hapus manifes Kubernetes
• Hapus penerusan porta
• Hapus cluster jenis

./shutdown.sh

Informasi Sistem Operasi

Demo ini telah diuji pada sistem operasi berikut dan akan berfungsi jika Anda telah menginstal prasyarat.

• macOS
• Linux
• jendela

Verifikasi

Gambar-gambar ini ditandatangani dengan cosign sigstore. Anda dapat memverifikasi tanda tangan dengan mengunduh kunci cosign.pub dari repo ini dan menjalankan perintah berikut:

cosign verify --key cosign.pub ghcr.io/cncf/llm-starter-pack:latest

Jika Anda melakukan forking repo ini, Anda harus membaca dokumen tentang menjaga rahasia di github. Anda perlu membuat pasangan kunci baru dengan cosign . Kunci publik dapat berada di repo publik Anda (pengguna Anda memerlukannya untuk memeriksa tanda tangan), dan Anda dapat menempelkan kunci pribadi di Pengaturan -> Rahasia -> Tindakan.

Ucapan Terima Kasih

Kami ingin mengucapkan terima kasih kepada Docker karena telah membagikan demo GenAI Stack mereka kepada kami. Kami telah menggunakan demo mereka sebagai titik awal untuk demo ini. Anda dapat menemukan demonya di sini.

Kami juga ingin mengucapkan terima kasih kepada Weaveworks atas proyek Weaveworks Scope mereka yang telah kami gunakan untuk membantu memvisualisasikan cluster Kubernetes kami. Anda dapat menemukan proyek mereka di sini.