Podman 데스크탑 확장 AI 연구소
v1.3.1
Podman AI Lab은 로컬 환경에서 LLM(Large Language Models)과 작동하기 위한 Podman Desktop용 오픈 소스 확장입니다. 일반적인 AI 사용 사례가 포함된 레시피 카탈로그, 엄선된 오픈 소스 모델 세트, 학습, 프로토타이핑 및 실험을 위한 놀이터를 갖춘 Podman AI Lab은 인프라에 의존하지 않고도 애플리케이션에 AI를 빠르고 쉽게 도입할 수 있도록 도와줍니다. 데이터 개인 정보 보호 및 보안을 보장하는 노트북입니다.
Podman AI Lab은 Podman 머신을 사용하여 LLM 모델 및 AI 애플리케이션을 위한 추론 서버를 실행합니다. AI 모델을 다운로드할 수 있으며 GGUF, Pytorch 또는 Tensorflow와 같은 일반적인 형식이 지원됩니다.
Podman AI Lab은 선별된 오픈 소스 AI 모델 및 LLM 목록을 제공합니다. 다운로드한 모델은 AI 애플리케이션, 모델 서비스 및 놀이터에 사용할 수 있습니다.
모델 다운로드가 완료되면 모델 서비스를 시작할 수 있습니다. 모델 서비스는 컨테이너에서 실행되고 많은 제공업체에 공통적으로 적용되는 잘 알려진 채팅 API를 통해 모델을 노출하는 추론 서버입니다.
통합된 Playground 환경을 통해 로컬 환경에서 사용 가능한 모델을 실험할 수 있습니다. 직관적인 사용자 프롬프트는 다양한 모델의 기능과 정확성을 탐색하는 데 도움이 되며 현재 사용 사례에 가장 적합한 모델을 찾는 데 도움이 됩니다. Playground 인터페이스를 사용하면 모델 매개변수화를 통해 각 모델의 설정과 속성을 더욱 최적화할 수 있습니다.
잘 알려진 엔드포인트를 통해 AI 모델을 사용할 수 있게 되면 AI 모델을 연결하고 사용할 새로운 애플리케이션 세계를 상상하기 쉽습니다. Podman AI Lab은 AI 애플리케이션을 서로 연결된 컨테이너 세트로 지원합니다.
Podman AI Lab은 채팅 봇, 코드 생성기, 텍스트 요약기와 같은 다양한 핵심 AI 사용 사례와 문제 도메인을 탐색하는 데 도움이 되는 소위 레시피 카탈로그를 제공합니다. 각 레시피에는 다양한 LLM(대형 언어 모델)으로 실행할 수 있는 자세한 설명과 샘플 애플리케이션이 함께 제공됩니다. 여러 모델을 실험하면 사용 사례에 가장 적합한 모델을 찾을 수 있습니다.
운영체제:
Windows, macOS 및 Linux에서 호환 가능
소프트웨어:
하드웨어
LLM AI 모델은 메모리와 CPU 측면에서 리소스를 많이 소비합니다. 제공된 각 모델은 약 4GiB의 메모리를 소비하며 실행하려면 최소 4개의 CPU가 필요합니다.
따라서 Podman 시스템에는 최소 12GB의 메모리와 최소 4개의 CPU를 권장합니다.
추가적으로 권장되는 방법으로 동시에 3개 이상의 모델을 동시에 실행하지 마십시오.
WSL 기술은 호스트 데스크톱의 메모리 및 CPU이므로 Windows의 WSL에는 관련이 없습니다.
Podman Desktop 내부에 Podman AI Lab 확장을 직접 설치할 수 있습니다.
확장 > 카탈로그 > Podman AI Lab 설치로 이동합니다.
개발 버전을 설치하려면 아래 기록에 표시된 대로 Install custom... 작업을 사용합니다.
사용할 이미지 이름은 ghcr.io/containers/podman-desktop-extension-ai-lab 입니다. https://github.com/containers/podman-desktop-extension-ai-lab/pkgs/container/podman-desktop-extension-ai-lab에서 이미지에 대한 릴리스된 태그를 얻을 수 있습니다.
카탈로그에서 모델을 선택하고 이를 워크스테이션에 로컬로 다운로드해 보겠습니다.
모델을 로컬에서 사용할 수 있게 되면 추론 서버를 시작해 보겠습니다.
Podman AI Lab의 개발을 돕고 기여하고 싶으십니까?
Podman Desktop 디렉터리에서 pnpm watch --extension-folder 사용하여 AI Lab 확장을 자동으로 다시 빌드하고 테스트할 수 있습니다.
참고 : 적절한 필수 구성 요소가 설치되어 있는지 확인하세요.
git clone https://github.com/containers/podman-desktop
git clone https://github.com/containers/podman-desktop-extension-ai-lab
cd podman-desktop-extension-ai-lab
corepack enable pnpm
pnpm install
pnpm build
cd ../podman-desktop
pnpm watch --extension-folder ../podman-desktop-extension-ai-lab/packages/backendpackages/frontend 폴더에서 프런트엔드 패키지를 실시간 편집하는 경우:
$ pnpm watch
사용자가 환경을 정리할 수 있는 방법을 추가할 예정입니다. 문제 #469를 참조하세요. 당분간 다음 조치를 고려하시기 바랍니다.
$HOME/podman-desktop/ai-lab확장 프로그램은 기본적으로 선별된 레시피, 모델 및 카테고리 목록을 제공합니다. 그러나 이 시스템은 확장 가능하며 사용자가 직접 정의할 수 있습니다.
기존 카탈로그를 향상하려면 확장 스토리지 폴더 $HOME/.local/share/containers/podman-desktop/extensions-storage/redhat.ai-lab/user-catalog.json 에 있는 파일을 생성할 수 있습니다.
확장 소스의 기본 카탈로그와 동일한 형식을 따라야 합니다.
기본 동작은 사용자 카탈로그 항목을 기본 항목에 추가하는 것입니다.
️ 각 항목(레시피, 모델 또는 카테고리)에는 고유 ID가 있으며, 기본 카탈로그와 사용자 항목 사이에 충돌이 발견되면 사용자 항목이 기본값을 덮어씁니다.
샘플 애플리케이션이 카탈로그에 추가될 수 있습니다. 자세한 내용은 포장 가이드를 참조하세요.
로드맵은 항상 열려 있으며 여러분의 피드백을 기다리고 있습니다. 새로운 이슈를 생성하고 자신에게 가장 중요하다고 생각되는 이슈에 공감해주세요.
우리는 다음 항목을 작업할 예정입니다:
이 양식을 사용하여 확장 프로그램에 대한 피드백을 제공하거나 이 저장소에 문제를 생성할 수 있습니다.
