llm starter pack

ชุดเริ่มต้น Cloud Native LLM

ข้อกำหนดเบื้องต้น

• นักเทียบท่า
• ใจดี
  • ประเภทคือ "Kubernetes in Docker" ซึ่งใช้โดยโครงการ Kubernetes เพื่อช่วยทดสอบคุณสมบัติและดำเนินการทดสอบการรวมระบบ ปรากฎว่ามันเป็นวิธีที่สะดวกสำหรับทุกคนในการหมุนคลัสเตอร์อย่างรวดเร็ว ขอบคุณมากที่ @bentheelder สำหรับการพัฒนามัน ?? -
• คิวเบคเทิล
  • kubectl คือวิธีที่คุณโต้ตอบกับ k8s โดยใช้บรรทัดคำสั่ง สิ่งนี้ช่วยให้คุณกลายเป็นคนกระซิบของ k8s :-)

การเริ่มต้น

เราได้จัดทำสคริปต์บางส่วนเพื่อให้การสาธิตนี้รันบนเครื่องของคุณโดยเร็วที่สุดเมื่อคุณติดตั้งข้อกำหนดเบื้องต้นแล้ว

สคริปต์นี้จะ:

• สร้างคลัสเตอร์ชนิด
• ใช้ Manifest ของ Kubernetes ที่เราต้องการสำหรับการสาธิตแชทบอท LLM ของเรา
• ใช้การส่งต่อพอร์ตเพื่อช่วยให้เราเข้าถึงบริการของเราในเบราว์เซอร์ เพื่อให้เราสามารถถามคำถาม LLM ของเราได้

หมายเหตุ: หลังจากใช้ไฟล์ Manifest ของ Kubernetes คลัสเตอร์ของเราจะใช้เวลาประมาณ 3-4 นาทีในการดาวน์โหลดอิมเมจ เริ่มต้น LLM และเริ่มแอปพลิเคชัน คุณสามารถตรวจสอบสถานะของพ็อดได้ด้วยการเรียกใช้ kubectl get pods

./startup.sh

สาธิต

ต่อไป เราสามารถติดตั้งแอปสาธิตที่ใช้ LLM ได้

./demo.sh

หากคุณต้องการลบหรือรื้อเฉพาะแอปสาธิต คุณสามารถเรียกใช้ได้

./teardown.sh

ปิดเครื่อง

หากต้องการปิดการสาธิต ให้รันคำสั่งต่อไปนี้ ซึ่งจะ:

• ลบไฟล์ Manifest ของ Kubernetes
• ลบการส่งต่อพอร์ต
• ลบคลัสเตอร์ชนิด

./shutdown.sh

ข้อมูลระบบปฏิบัติการ

การสาธิตนี้ได้รับการทดสอบบนระบบปฏิบัติการต่อไปนี้ และจะทำงานได้หากคุณติดตั้งข้อกำหนดเบื้องต้นไว้แล้ว

• ระบบปฏิบัติการ macOS
• ลินุกซ์
• หน้าต่าง

การยืนยัน

ภาพเหล่านี้ลงนามด้วย cosign ของ sigstore คุณสามารถตรวจสอบลายเซ็นได้โดยการดาวน์โหลดคีย์ cosign.pub จาก repo นี้ และเรียกใช้คำสั่งต่อไปนี้:

cosign verify --key cosign.pub ghcr.io/cncf/llm-starter-pack:latest

หากคุณกำลังฟอร์ก repo นี้ คุณควรอ่านเอกสารเกี่ยวกับการรักษาความลับใน GitHub คุณต้องสร้างคู่คีย์ใหม่ด้วย cosign รหัสสาธารณะสามารถอยู่ใน repo สาธารณะของคุณ (ผู้ใช้ของคุณต้องการมันเพื่อตรวจสอบลายเซ็น) และคุณสามารถวางรหัสส่วนตัวได้ในการตั้งค่า -> ความลับ -> การดำเนินการ

รับทราบ

เราขอขอบคุณ Docker ที่แบ่งปันการสาธิต GenAI Stack กับเรา เราใช้การสาธิตเป็นจุดเริ่มต้นสำหรับการสาธิตนี้ คุณสามารถดูการสาธิตได้ที่นี่

นอกจากนี้เรายังขอขอบคุณ Weaveworks สำหรับโครงการ Weaveworks Scope ซึ่งเราใช้เพื่อช่วยให้เห็นภาพคลัสเตอร์ Kubernetes ของเรา คุณสามารถค้นหาโครงการของพวกเขาได้ที่นี่