ห้องปฏิบัติการ ai ส่วนขยายเดสก์ท็อป podman
v1.3.1
Podman AI Lab เป็นส่วนขยายโอเพ่นซอร์สสำหรับ Podman Desktop เพื่อทำงานร่วมกับ LLM (โมเดลภาษาขนาดใหญ่) ในสภาพแวดล้อมท้องถิ่น นำเสนอแคตตาล็อกสูตรอาหารพร้อมกรณีการใช้งาน AI ทั่วไป ชุดโมเดลโอเพ่นซอร์สที่ได้รับการดูแลจัดการ และสนามเด็กเล่นสำหรับการเรียนรู้ การสร้างต้นแบบ และการทดลอง Podman AI Lab ช่วยให้คุณเริ่มต้นนำ AI มาสู่แอปพลิเคชันของคุณได้อย่างรวดเร็วและง่ายดาย โดยไม่ต้องพึ่งพาโครงสร้างพื้นฐานที่เกินกว่านั้น แล็ปท็อปของคุณรับประกันความเป็นส่วนตัวและความปลอดภัยของข้อมูล
Podman AI Lab ใช้เครื่อง Podman เพื่อรันเซิร์ฟเวอร์อนุมานสำหรับโมเดล LLM และแอปพลิเคชัน AI สามารถดาวน์โหลดโมเดล AI ได้ และรองรับรูปแบบทั่วไป เช่น GGUF, Pytorch หรือ Tensorflow
Podman AI Lab จัดทำรายการโมเดล AI แบบโอเพ่นซอร์สและ LLM ที่คัดสรรแล้ว เมื่อดาวน์โหลดแล้ว โมเดลจะพร้อมใช้งานสำหรับแอปพลิเคชัน AI บริการโมเดล และสนามเด็กเล่น
เมื่อดาวน์โหลดโมเดลแล้ว เซอร์วิสโมเดลก็สามารถเริ่มต้นได้ บริการโมเดลคือเซิร์ฟเวอร์การอนุมานที่ทำงานอยู่ในคอนเทนเนอร์และเปิดเผยโมเดลผ่าน Chat API ที่รู้จักกันดีสำหรับผู้ให้บริการหลายราย
สภาพแวดล้อม Playground แบบรวมช่วยให้สามารถทดลองใช้โมเดลที่มีอยู่ในสภาพแวดล้อมท้องถิ่นได้ ข้อความแจ้งผู้ใช้ที่ใช้งานง่ายช่วยในการสำรวจความสามารถและความแม่นยำของรุ่นต่างๆ และช่วยในการค้นหารุ่นที่ดีที่สุดสำหรับกรณีการใช้งานที่มีอยู่ อินเทอร์เฟซ Playground ยังช่วยให้สามารถกำหนดพารามิเตอร์โมเดลเพื่อปรับการตั้งค่าและคุณลักษณะของแต่ละรุ่นให้เหมาะสมยิ่งขึ้น
เมื่อโมเดล AI พร้อมใช้งานผ่านจุดสิ้นสุดที่รู้จักกันดี ก็เป็นเรื่องง่ายที่จะจินตนาการถึงโลกใหม่ของแอปพลิเคชันที่จะเชื่อมต่อและใช้โมเดล AI Podman AI Lab รองรับแอปพลิเคชัน AI เป็นชุดคอนเทนเนอร์ที่เชื่อมต่อเข้าด้วยกัน
Podman AI Lab มาพร้อมกับสิ่งที่เรียกว่า Recipes Catalog ซึ่งช่วยคุณนำทางกรณีการใช้งาน AI หลักและโดเมนปัญหาต่างๆ เช่น Chat Bots, Code Generators และ Text Summarizers แต่ละสูตรมาพร้อมกับคำอธิบายโดยละเอียดและตัวอย่างการใช้งานที่ใช้ได้กับโมเดลภาษาขนาดใหญ่ (LLM) ต่างๆ การทดลองกับหลายรุ่นช่วยให้ค้นหารุ่นที่เหมาะสมที่สุดสำหรับกรณีการใช้งานของคุณ
ระบบปฏิบัติการ:
ใช้งานได้บน Windows, macOS และ Linux
ซอฟต์แวร์:
ฮาร์ดแวร์
โมเดล AI ของ LLM เป็นผู้บริโภคทรัพยากรจำนวนมากทั้งในแง่ของหน่วยความจำและ CPU แต่ละรุ่นที่ให้มาใช้หน่วยความจำประมาณ 4GiB และต้องใช้ CPU อย่างน้อย 4 ตัวในการทำงาน
ดังนั้นเราขอแนะนำให้มีหน่วยความจำอย่างน้อย 12GB และ CPU อย่างน้อย 4 ตัวสำหรับเครื่อง Podman
ตามแนวทางปฏิบัติที่แนะนำเพิ่มเติม ให้ทำหรือรันโมเดลพร้อมกันมากกว่า 3 โมเดลพร้อมกัน
โปรดทราบว่าสิ่งนี้ไม่เกี่ยวข้องกับ WSL บน Windows เนื่องจากเทคโนโลยี WSL คือหน่วยความจำและ CPU พร้อมโฮสต์เดสก์ท็อป
คุณสามารถติดตั้งส่วนขยาย Podman AI Lab ได้โดยตรงภายใน Podman Desktop
ไปที่ส่วนขยาย > แค็ตตาล็อก > ติดตั้ง Podman AI Lab
หากต้องการติดตั้งเวอร์ชันการพัฒนา ให้ใช้การ Install custom... ดังที่แสดงในการบันทึกด้านล่าง
ชื่อของรูปภาพที่จะใช้คือ ghcr.io/containers/podman-desktop-extension-ai-lab คุณสามารถรับแท็กที่เผยแพร่สำหรับรูปภาพได้ที่ https://github.com/containers/podman-desktop-extension-ai-lab/pkgs/container/podman-desktop-extension-ai-lab
เรามาเลือกรุ่นจากแค็ตตาล็อกและดาวน์โหลดลงในเครื่องเวิร์กสเตชันของเรา
เมื่อโมเดลพร้อมใช้งานในเครื่องแล้ว มาเริ่มเซิร์ฟเวอร์การอนุมานกันดีกว่า
ต้องการช่วยพัฒนาและสนับสนุน Podman AI Lab หรือไม่
คุณสามารถใช้ pnpm watch --extension-folder จากไดเรกทอรี Podman Desktop เพื่อสร้างและทดสอบส่วนขยาย AI Lab โดยอัตโนมัติ:
หมายเหตุ : ตรวจสอบให้แน่ใจว่าคุณได้ติดตั้งข้อกำหนดเบื้องต้นที่เหมาะสมแล้ว
git clone https://github.com/containers/podman-desktop
git clone https://github.com/containers/podman-desktop-extension-ai-lab
cd podman-desktop-extension-ai-lab
corepack enable pnpm
pnpm install
pnpm build
cd ../podman-desktop
pnpm watch --extension-folder ../podman-desktop-extension-ai-lab/packages/backendหากคุณกำลังแก้ไขแพ็คเกจส่วนหน้าแบบเรียลไทม์ จากแพ็คเกจ/โฟลเดอร์ส่วนหน้า:
$ pnpm watch
เราจะเพิ่มวิธีให้ผู้ใช้ล้างสภาพแวดล้อมของตน: ดูปัญหา #469 ในขณะนี้ โปรดพิจารณาการดำเนินการต่อไปนี้:
$HOME/podman-desktop/ai-labส่วนขยายจะจัดเตรียมรายการสูตรอาหาร รุ่น และหมวดหมู่ที่ได้รับการดูแลจัดการตามค่าเริ่มต้น อย่างไรก็ตาม ระบบนี้สามารถขยายได้และคุณสามารถกำหนดระบบของคุณเองได้
หากต้องการปรับปรุงแค็ตตาล็อกที่มีอยู่ คุณสามารถสร้างไฟล์ที่อยู่ในโฟลเดอร์หน่วยเก็บข้อมูลส่วนขยาย $HOME/.local/share/containers/podman-desktop/extensions-storage/redhat.ai-lab/user-catalog.json
ต้องเป็นไปตามรูปแบบเดียวกันกับแค็ตตาล็อกเริ่มต้นในแหล่งที่มาของส่วนขยาย
ลักษณะการทำงานเริ่มต้นคือการผนวกรายการในแค็ตตาล็อกของผู้ใช้เข้ากับรายการเริ่มต้น
แต่ละรายการ (สูตรอาหาร รุ่น หรือหมวดหมู่) มีรหัสที่ไม่ซ้ำกัน เมื่อพบความขัดแย้งระหว่างแค็ตตาล็อกเริ่มต้นและผู้ใช้ รายการของผู้ใช้จะเขียนทับค่าเริ่มต้น
สามารถเพิ่มแอปพลิเคชันตัวอย่างลงในแค็ตตาล็อกได้ ดูคู่มือบรรจุภัณฑ์สำหรับข้อมูลโดยละเอียด
แผนงานเปิดอยู่เสมอและเรากำลังมองหาคำติชมของคุณ โปรดสร้างประเด็นใหม่และโหวตเห็นด้วยประเด็นที่รู้สึกว่าสำคัญที่สุดสำหรับคุณ
เราจะทำงานในรายการต่อไปนี้:
คุณสามารถแสดงความคิดเห็นเกี่ยวกับส่วนขยายด้วยแบบฟอร์มนี้หรือสร้างปัญหาในพื้นที่เก็บข้อมูลนี้
