podman 桌面擴充 ai lab

Podman人工智慧實驗室

Podman AI Lab 是 Podman Desktop 的開源擴展，可在本地環境中與 LLM（大型語言模型）配合使用。 Podman AI Lab 具有包含常見AI 用例的食譜目錄、一組精選的開源模型以及用於學習、原型設計和實驗的遊樂場，可幫助您快速輕鬆地開始將AI 引入您的應用程序，而無需依賴其他基礎設施確保您的筆記型電腦資料隱私和安全。

主題

• 科技
• 擴充功能
• 要求
• 安裝
• 用法
• 貢獻
• 回饋

科技

Podman AI Lab 使用 Podman 機器運行 LLM 模型和 AI 應用程式的推理伺服器。 AI模型可以下載，支援GGUF、Pytorch或Tensorflow等常見格式。

擴充功能

人工智慧模型

Podman AI Lab 提供了開源 AI 模型和法學碩士的精選清單。下載後，這些模型即可用於人工智慧應用程式、模型服務和遊樂場。

模特兒服務

下載模型後，就可以啟動模型服務。模型服務是在容器中運行的推理伺服器，並透過許多提供者常用的眾所周知的聊天 API 公開模型。

遊樂場

整合的 Playground 環境允許在本地環境中試驗可用模型。直覺的使用者提示有助於探索各種模型的功能和準確性，並有助於找到適合當前用例的最佳模型。 Playground 介面還允許對模型進行參數化，以進一步優化每個模型的設定和屬性。

人工智慧應用

一旦透過眾所周知的端點提供了人工智慧模型，就很容易想像一個連接和使用人工智慧模型的應用程式的新世界。 Podman AI Lab 支援將 AI 應用程式作為一組連接在一起的容器。

Podman AI Lab 附帶了一個所謂的食譜目錄，可協助您瀏覽許多核心 AI 用例和問題領域，例如聊天機器人、程式碼產生器和文字摘要器。每個秘訣都附帶詳細的說明和範例應用程序，可以使用各種大型語言模型 (LLM) 運行。嘗試多種模型可以找到最適合您的用例的模型。

要求

需求一、軟硬體需求

作業系統:

相容於 Windows、macOS 和 Linux

軟體:

• Podman 桌面版 1.8.0+
• 波德曼 4.9.0+

硬體

LLM 的 AI 模型在記憶體和 CPU 方面都是大量資源消耗者。提供的每個模型消耗約 4GiB 內存，並且需要至少 4 個 CPU 才能運行。

因此，我們建議 Podman 機器至少配備 12GB 記憶體和至少 4 個 CPU。

作為額外建議的做法，請勿同時執行 3 個以上的同步模型。

請注意，這與 Windows 上的 WSL 無關，因為 WSL 技術涉及主機桌面的記憶體和 CPU。

安裝

您可以直接在 Podman Desktop 內安裝 Podman AI Lab 擴充功能。

前往擴充功能 > 目錄 > 安裝 Podman AI Lab。

若要安裝開發版本，請使用Install custom...操作，如下方的記錄所示。

要使用的映像的名稱是ghcr.io/containers/podman-desktop-extension-ai-lab 。您可以在 https://github.com/containers/podman-desktop-extension-ai-lab/pkgs/container/podman-desktop-extension-ai-lab 取得該映像的已發佈標籤。

用法

1. 下載模型

讓我們從目錄中選擇一個模型並將其本地下載到我們的工作站。

2. 啟動推理伺服器

一旦模型在本地可用，我們就啟動推理伺服器

3. 建立一個 Playground 來與模型進行聊天對話

4. 啟動 AI 應用程式並從瀏覽器使用它

貢獻

想要幫助 Podman AI Lab 的開發並做出貢獻嗎？

您可以使用 Podman Desktop 目錄中的pnpm watch --extension-folder自動重建和測試 AI Lab 擴充：

注意：確保您已安裝適當的先決條件。

git clone https://github.com/containers/podman-desktop
git clone https://github.com/containers/podman-desktop-extension-ai-lab
cd podman-desktop-extension-ai-lab
corepack enable pnpm
pnpm install
pnpm build
cd ../podman-desktop
pnpm watch --extension-folder ../podman-desktop-extension-ai-lab/packages/backend

如果您正在即時編輯前端包，請從 packages/frontend 資料夾中：

 $ pnpm watch

清理資源

我們將新增一種讓使用者清理其環境的方法：請參閱問題 #469。暫時，請考慮以下行動：

1. 從 Podman Desktop 的「設定」>「擴充功能」中刪除該擴充
2. 從 Pod 清單中刪除正在執行的 Playground 環境
3. 刪除食譜建立的圖片
4. 移除與AI相關的容器
5. 清理本地克隆的食譜： $HOME/podman-desktop/ai-lab

提供自訂目錄

此擴充預設提供食譜、模型和類別的精選清單。但是，該系統是可擴展的，您可以定義自己的系統。

若要增強現有目錄，您可以在擴充儲存資料夾$HOME/.local/share/containers/podman-desktop/extensions-storage/redhat.ai-lab/user-catalog.json中建立一個檔案。

它必須遵循與擴充來源中的預設目錄相同的格式。

預設行為是將使用者目錄中的項目附加到預設目錄中。

️每個項目（配方、型號或類別）都有一個獨特的 ID，當發現預設目錄與使用者目錄衝突時，使用者的項目將覆蓋預設值。

包裝範例應用程式

範例應用程式可以加入到目錄中。有關詳細信息，請參閱包裝指南。

路線圖

路線圖始終開放，我們正在尋求您的回饋。請建立新問題並對您認為最重要的問題進行投票。

我們將致力於以下幾項工作：

• 擴展食譜：發現新的用例和範例，以激發和加速您的應用程式。
• GPU 加速：利用 GPU 加速加快處理時間。
• API/CLI ：透過 CLI 和 API 與 Podman AI Lab 互動。
• 增強的遊樂場：簡化的工作流程和使用者體驗為 LLM 實驗和快速迭代提供了更好的空間。
• 使用 InstructLab 進行微調：使用一組分類知識重新訓練法學碩士。了解有關 InstructLab 專案的更多資訊。
• 啟用函數呼叫：使用 LLM 透過執行 API 呼叫來檢索外部工具或與外部工具互動。
• 本地 RAG ：探索 RAG 模式，載入文件並測試模型的行為。
• 與 AI 平台（包括 K8s）橋接：連接到遠端模型並輕鬆部署應用程式。

回饋

您可以使用此表單提供有關擴充功能的回饋，或在此儲存庫上建立問題。