extensión de escritorio podman ai lab
v1.3.1
Podman AI Lab es una extensión de código abierto para Podman Desktop para trabajar con LLM (modelos de lenguajes grandes) en un entorno local. Con un catálogo de recetas con casos de uso comunes de IA, un conjunto seleccionado de modelos de código abierto y un área de juegos para el aprendizaje, la creación de prototipos y la experimentación, Podman AI Lab lo ayuda a comenzar rápida y fácilmente a incorporar IA a sus aplicaciones, sin depender de la infraestructura más allá. su computadora portátil garantizando la privacidad y seguridad de los datos.
Podman AI Lab utiliza máquinas Podman para ejecutar servidores de inferencia para modelos LLM y aplicaciones de IA. Los modelos de IA se pueden descargar y se admiten formatos comunes como GGUF, Pytorch o Tensorflow.
Podman AI Lab proporciona una lista seleccionada de modelos de inteligencia artificial y LLM de código abierto. Una vez descargados, los modelos están disponibles para su uso en aplicaciones de IA, servicios de modelos y áreas de juego.
Una vez que se descarga un modelo, se puede iniciar un servicio de modelo. Un servicio modelo es un servidor de inferencia que se ejecuta en un contenedor y expone el modelo a través de la conocida API de chat común a muchos proveedores.
Los entornos Playground integrados permiten experimentar con los modelos disponibles en un entorno local. Un mensaje de usuario intuitivo ayuda a explorar las capacidades y la precisión de varios modelos y ayuda a encontrar el mejor modelo para el caso de uso en cuestión. La interfaz Playground permite además parametrizar modelos para optimizar aún más la configuración y los atributos de cada modelo.
Una vez que un modelo de IA esté disponible a través de un punto final conocido, es fácil imaginar un nuevo mundo de aplicaciones que se conectarán y utilizarán el modelo de IA. Podman AI Lab admite aplicaciones de IA como un conjunto de contenedores conectados entre sí.
Podman AI Lab se entrega con el llamado catálogo de recetas que lo ayuda a navegar por una serie de casos de uso principales de IA y dominios problemáticos, como chat bots, generadores de código y resúmenes de texto. Cada receta viene con explicaciones detalladas y aplicaciones de muestra que se pueden ejecutar con varios modelos de lenguaje grandes (LLM). Experimentar con múltiples modelos permite encontrar el óptimo para su caso de uso.
SO:
Compatible con Windows, macOS y Linux
Software:
Hardware
Los modelos de IA de LLM consumen grandes recursos tanto en términos de memoria como de CPU. Cada uno de los modelos proporcionados consume aproximadamente 4 GiB de memoria y requiere al menos 4 CPU para funcionar.
Por lo tanto, recomendamos un mínimo de 12 GB de memoria y al menos 4 CPU para la máquina Podman.
Como práctica recomendada adicional, no ejecute más de 3 modelos simultáneos al mismo tiempo.
Tenga en cuenta que esto no es relevante para WSL en Windows, ya que la tecnología WSL afecta la memoria y la CPU del escritorio host.
Puede instalar la extensión Podman AI Lab directamente dentro de Podman Desktop.
Vaya a Extensiones > Catálogo > Instalar Podman AI Lab.
Para instalar una versión de desarrollo, utilice la acción Install custom... como se muestra en la grabación a continuación.
El nombre de la imagen a utilizar es ghcr.io/containers/podman-desktop-extension-ai-lab . Puede obtener etiquetas publicadas para la imagen en https://github.com/containers/podman-desktop-extension-ai-lab/pkgs/container/podman-desktop-extension-ai-lab.
Seleccionemos un modelo del catálogo y descargémoslo localmente en nuestra estación de trabajo.
Una vez que un modelo esté disponible localmente, iniciemos un servidor de inferencia.
¿Quiere ayudar a desarrollar y contribuir a Podman AI Lab?
Puede usar pnpm watch --extension-folder desde el directorio de Podman Desktop para reconstruir y probar automáticamente la extensión AI Lab:
Nota : asegúrese de tener instalados los requisitos previos adecuados.
git clone https://github.com/containers/podman-desktop
git clone https://github.com/containers/podman-desktop-extension-ai-lab
cd podman-desktop-extension-ai-lab
corepack enable pnpm
pnpm install
pnpm build
cd ../podman-desktop
pnpm watch --extension-folder ../podman-desktop-extension-ai-lab/packages/backendSi está editando en vivo el paquete frontend, desde la carpeta paquetes/frontend:
$ pnpm watch
Agregaremos una forma de permitir que un usuario limpie su entorno: consulte el número 469. Por el momento, considere las siguientes acciones:
$HOME/podman-desktop/ai-labLa extensión proporciona de forma predeterminada una lista seleccionada de recetas, modelos y categorías. Sin embargo, este sistema es extensible y puedes definir el tuyo propio.
Para mejorar el catálogo existente, puede crear un archivo ubicado en la carpeta de almacenamiento de la extensión $HOME/.local/share/containers/podman-desktop/extensions-storage/redhat.ai-lab/user-catalog.json .
Debe seguir el mismo formato que el catálogo predeterminado en las fuentes de la extensión.
El comportamiento predeterminado es agregar los elementos del catálogo del usuario al predeterminado.
️ Cada artículo (recetas, modelos o categorías) tiene una identificación única; cuando se encuentra un conflicto entre el catálogo predeterminado y el del usuario, los artículos del usuario sobrescriben los valores predeterminados.
Se pueden agregar aplicaciones de muestra al catálogo. Consulte la guía de embalaje para obtener información detallada.
La hoja de ruta siempre está abierta y estamos esperando sus comentarios. Cree nuevos problemas y vote a favor de los problemas que considere más importantes para usted.
Estaremos trabajando en los siguientes elementos:
Puede proporcionar sus comentarios sobre la extensión con este formulario o crear un problema en este repositorio.
