podman 桌面扩展 ai lab

Podman人工智能实验室

Podman AI Lab 是 Podman Desktop 的开源扩展，可在本地环境中与 LLM（大型语言模型）配合使用。 Podman AI Lab 具有包含常见 AI 用例的菜谱目录、一组精选的开源模型以及用于学习、原型设计和实验的游乐场，可帮助您快速轻松地开始将 AI 引入您的应用程序，而无需依赖其他基础设施确保您的笔记本电脑数据隐私和安全。

主题

• 技术
• 扩展功能
• 要求
• 安装
• 用法
• 贡献
• 反馈

技术

Podman AI Lab 使用 Podman 机器运行 LLM 模型和 AI 应用程序的推理服务器。 AI模型可以下载，支持GGUF、Pytorch或Tensorflow等常见格式。

扩展功能

人工智能模型

Podman AI Lab 提供了开源 AI 模型和法学硕士的精选列表。下载后，这些模型即可用于人工智能应用程序、模型服务和游乐场。

模特服务

下载模型后，就可以启动模型服务。模型服务是在容器中运行的推理服务器，并通过许多提供商常用的众所周知的聊天 API 公开模型。

游乐场

集成的 Playground 环境允许在本地环境中试验可用模型。直观的用户提示有助于探索各种模型的功能和准确性，并有助于找到适合当前用例的最佳模型。 Playground 界面还允许对模型进行参数化，以进一步优化每个模型的设置和属性。

人工智能应用

一旦通过众所周知的端点提供了人工智能模型，就很容易想象一个连接和使用人工智能模型的应用程序的新世界。 Podman AI Lab 支持将 AI 应用程序作为一组连接在一起的容器。

Podman AI Lab 附带了一个所谓的食谱目录，可帮助您浏览许多核心 AI 用例和问题领域，例如聊天机器人、代码生成器和文本摘要器。每个秘诀都附带详细的说明和示例应用程序，可以使用各种大型语言模型 (LLM) 运行。尝试多种模型可以找到最适合您的用例的模型。

要求

需求一、软硬件需求

操作系统：

兼容 Windows、macOS 和 Linux

软件：

• Podman 桌面版 1.8.0+
• 波德曼 4.9.0+

硬件

LLM 的 AI 模型在内存和 CPU 方面都是大量资源消耗者。提供的每个模型消耗约 4GiB 内存，并且需要至少 4 个 CPU 才能运行。

因此，我们建议 Podman 机器至少配备 12GB 内存和至少 4 个 CPU。

作为额外推荐的做法，请勿同时运行 3 个以上的同步模型。

请注意，这与 Windows 上的 WSL 无关，因为 WSL 技术涉及主机桌面的内存和 CPU。

安装

您可以直接在 Podman Desktop 内安装 Podman AI Lab 扩展。

转到扩展 > 目录 > 安装 Podman AI Lab。

要安装开发版本，请使用Install custom...操作，如下面的记录所示。

要使用的图像的名称是ghcr.io/containers/podman-desktop-extension-ai-lab 。您可以在 https://github.com/containers/podman-desktop-extension-ai-lab/pkgs/container/podman-desktop-extension-ai-lab 获取该映像的已发布标签。

用法

1. 下载模型

让我们从目录中选择一个模型并将其本地下载到我们的工作站。

2. 启动推理服务器

一旦模型在本地可用，我们就启动推理服务器

3. 创建一个 Playground 来与模型进行聊天对话

4. 启动 AI 应用程序并从浏览器中使用它

贡献

想要帮助 Podman AI Lab 的开发并做出贡献吗？

您可以使用 Podman Desktop 目录中的pnpm watch --extension-folder自动重建和测试 AI Lab 扩展：

注意：确保您已安装适当的先决条件。

git clone https://github.com/containers/podman-desktop
git clone https://github.com/containers/podman-desktop-extension-ai-lab
cd podman-desktop-extension-ai-lab
corepack enable pnpm
pnpm install
pnpm build
cd ../podman-desktop
pnpm watch --extension-folder ../podman-desktop-extension-ai-lab/packages/backend

如果您正在实时编辑前端包，请从 packages/frontend 文件夹中：

 $ pnpm watch

清理资源

我们将添加一种让用户清理其环境的方法：请参阅问题 #469。暂时，请考虑采取以下行动：

1. 从 Podman Desktop 的“设置”>“扩展”中删除该扩展
2. 从 Pod 列表中删除正在运行的 Playground 环境
3. 删除食谱构建的图像
4. 移除与AI相关的容器
5. 清理本地克隆的食谱： $HOME/podman-desktop/ai-lab

提供自定义目录

该扩展默认提供食谱、模型和类别的精选列表。但是，该系统是可扩展的，您可以定义自己的系统。

要增强现有目录，您可以在扩展存储文件夹$HOME/.local/share/containers/podman-desktop/extensions-storage/redhat.ai-lab/user-catalog.json中创建一个文件。

它必须遵循与扩展源中的默认目录相同的格式。

默认行为是将用户目录中的项目附加到默认目录中。

️每个项目（配方、型号或类别）都有一个唯一的 ID，当发现默认目录与用户目录冲突时，用户的项目将覆盖默认值。

包装示例应用程序

示例应用程序可以添加到目录中。有关详细信息，请参阅包装指南。

路线图

路线图始终开放，我们正在寻求您的反馈。请创建新问题并对您认为最重要的问题进行投票。

我们将致力于以下几项工作：

• 扩展食谱：发现新的用例和示例，以激发和加速您的应用程序。
• GPU 加速：利用 GPU 加速加快处理时间。
• API/CLI ：通过 CLI 和 API 与 Podman AI Lab 进行交互。
• 增强的游乐场：简化的工作流程和用户体验为 LLM 实验和快速迭代提供了更好的空间。
• 使用 InstructLab 进行微调：使用一组分类知识重新培训法学硕士。了解有关 InstructLab 项目的更多信息。
• 启用函数调用：使用 LLM 通过执行 API 调用来检索外部工具或与外部工具交互。
• 本地 RAG ：探索 RAG 模式，加载文档并测试模型的行为。
• 与 AI 平台（包括 K8s）桥接：连接到远程模型并轻松部署应用程序。

反馈

您可以使用此表单提供有关扩展的反馈，或在此存储库上创建问题。