ekstensi desktop podman ai lab
v1.3.1
Podman AI Lab adalah ekstensi sumber terbuka untuk Podman Desktop untuk bekerja dengan LLM (Model Bahasa Besar) di lingkungan lokal. Menampilkan katalog resep dengan kasus penggunaan AI yang umum, serangkaian model sumber terbuka yang dikurasi, dan tempat bermain untuk pembelajaran, pembuatan prototipe, dan eksperimen, Podman AI Lab membantu Anda dengan cepat dan mudah mulai menghadirkan AI ke dalam aplikasi Anda, tanpa bergantung pada infrastruktur di luarnya. laptop Anda memastikan privasi dan keamanan data.
Podman AI Lab menggunakan mesin Podman untuk menjalankan server inferensi untuk model LLM dan aplikasi AI. Model AI dapat diunduh, dan format umum seperti GGUF, Pytorch, atau Tensorflow didukung.
Podman AI Lab menyediakan daftar model AI dan LLM sumber terbuka yang dikurasi. Setelah diunduh, model tersedia untuk digunakan dalam aplikasi AI, layanan model, dan taman bermain.
Setelah model diunduh, layanan model dapat dimulai. Layanan model adalah server inferensi yang berjalan dalam wadah dan mengekspos model melalui API obrolan terkenal yang umum bagi banyak penyedia.
Lingkungan Playground yang terintegrasi memungkinkan untuk bereksperimen dengan model yang tersedia di lingkungan lokal. Perintah pengguna yang intuitif membantu dalam mengeksplorasi kemampuan dan keakuratan berbagai model dan membantu dalam menemukan model terbaik untuk kasus penggunaan yang ada. Antarmuka Playground selanjutnya memungkinkan parameterisasi model untuk lebih mengoptimalkan pengaturan dan atribut setiap model.
Setelah model AI tersedia melalui titik akhir yang terkenal, mudah untuk membayangkan dunia aplikasi baru yang akan terhubung dan menggunakan model AI. Podman AI Lab mendukung aplikasi AI sebagai sekumpulan container yang terhubung bersama.
Podman AI Lab dilengkapi dengan apa yang disebut Katalog Resep yang membantu Anda menavigasi sejumlah kasus penggunaan AI inti dan domain masalah seperti Bot Obrolan, Pembuat Kode, dan Peringkas Teks. Setiap resep dilengkapi dengan penjelasan detail dan contoh aplikasi yang dapat dijalankan dengan berbagai model bahasa besar (LLM). Bereksperimen dengan beberapa model memungkinkan Anda menemukan model yang optimal untuk kasus penggunaan Anda.
sistem operasi:
Kompatibel di Windows, macOS & Linux
Perangkat lunak:
Perangkat keras
Model AI LLM adalah konsumen sumber daya yang besar baik dalam hal memori dan CPU. Setiap model yang disediakan menggunakan memori sekitar 4GiB dan memerlukan setidaknya 4 CPU untuk dijalankan.
Jadi kami menyarankan minimal memori 12GB dan minimal 4 CPU untuk mesin Podman.
Sebagai praktik tambahan yang disarankan, jangan menjalankan lebih dari 3 model secara bersamaan.
Harap dicatat bahwa ini tidak relevan untuk WSL di Windows karena teknologi WSL menggunakan memori dan CPU dengan desktop host.
Anda dapat menginstal ekstensi Podman AI Lab langsung di dalam Podman Desktop.
Buka Ekstensi > Katalog > Instal Podman AI Lab.
Untuk menginstal versi pengembangan, gunakan tindakan Install custom... seperti yang ditunjukkan dalam rekaman di bawah.
Nama gambar yang akan digunakan adalah ghcr.io/containers/podman-desktop-extension-ai-lab . Anda bisa mendapatkan tag rilis untuk gambar tersebut di https://github.com/containers/podman-desktop-extension-ai-lab/pkgs/container/podman-desktop-extension-ai-lab.
Mari pilih model dari katalog dan unduh secara lokal ke stasiun kerja kita.
Setelah model tersedia secara lokal, mari mulai server inferensi
Ingin membantu mengembangkan dan berkontribusi pada Podman AI Lab?
Anda dapat menggunakan pnpm watch --extension-folder dari direktori Podman Desktop untuk membangun kembali dan menguji ekstensi AI Lab secara otomatis:
Catatan : pastikan Anda telah menginstal prasyarat yang sesuai.
git clone https://github.com/containers/podman-desktop
git clone https://github.com/containers/podman-desktop-extension-ai-lab
cd podman-desktop-extension-ai-lab
corepack enable pnpm
pnpm install
pnpm build
cd ../podman-desktop
pnpm watch --extension-folder ../podman-desktop-extension-ai-lab/packages/backendJika Anda tinggal mengedit paket frontend, dari folder paket/frontend:
$ pnpm watch
Kami akan menambahkan cara agar pengguna dapat membersihkan lingkungannya: lihat masalah #469. Untuk saat ini, harap pertimbangkan tindakan berikut:
$HOME/podman-desktop/ai-labEkstensi ini secara default menyediakan daftar resep, model, dan kategori yang dikurasi. Namun, sistem ini dapat diperluas dan Anda dapat mendefinisikannya sendiri.
Untuk menyempurnakan katalog yang ada, Anda dapat membuat file yang terletak di folder penyimpanan ekstensi $HOME/.local/share/containers/podman-desktop/extensions-storage/redhat.ai-lab/user-catalog.json .
Itu harus mengikuti format yang sama dengan katalog default di sumber ekstensi.
Perilaku defaultnya adalah menambahkan item katalog pengguna ke item default.
️ Setiap item (resep, model, atau kategori) memiliki id unik, ketika ditemukan konflik antara katalog default dan katalog pengguna, item pengguna akan menimpa default.
Contoh aplikasi dapat ditambahkan ke katalog. Lihat panduan pengemasan untuk informasi rinci.
Peta jalan selalu terbuka dan kami menantikan tanggapan Anda. Silakan buat isu baru dan berikan suara positif pada isu yang dirasa paling penting bagi Anda.
Kami akan mengerjakan item berikut:
Anda dapat memberikan tanggapan Anda mengenai ekstensi dengan formulir ini atau membuat masalah pada repositori ini.
