aikit 다운로드 - aikit 소스 코드 다운로드

aikit

기타 소스코드

v0.15.0

다운로드

Aikit

Aikit은 LLMS (Lange Language Models)를 신속하게 호스팅, 배포, 빌드 및 미세 조정하기위한 포괄적 인 플랫폼입니다.

Aikit은 두 가지 주요 기능을 제공합니다.

추론 : Aikit은 광범위한 추론 기능 및 형식을 지원하는 LocalAI를 사용합니다. LocalAI는 OpenAI API 호환되는 드롭 인 교체 REST API를 제공하므로 Kubectl AI, Chatbot-UI 등과 같은 OpenAI API 호환 클라이언트를 사용하여 Open LLM에 요청을 보낼 수 있습니다!
미세 조정 : Aikit은 확장 가능한 미세 조정 인터페이스를 제공합니다. 빠르고 메모리 효율적이며 쉬운 미세 조정 경험을 위해 미아를 지원합니다.

전체 문서는 Aikit 웹 사이트를 참조하십시오!

특징

? Docker를 제외한 GPU, 인터넷 액세스 또는 추가 도구가 필요하지 않습니다!
? 최소한의 이미지 크기, 사용자 정의 Distroless 기반 이미지로 취약성이 적고 공격 표면이 적습니다.
? 미세 조정 지원
추론 및 미세 조정을위한 사용하기 쉬운 선언 구성
OpenAI API API 호환 클라이언트와 함께 사용할 수있는 OpenAI API
? 멀티 모달 모델 지원
? ️ 이미지 생성 지원
? GGUF ( llama ), GPTQ 또는 EXL2 ( exllama2 ) 및 GGML ( llama-ggml ) 및 MAMBA 모델 지원
? Kubernetes 배포 준비
? 단일 이미지로 여러 모델을 지원합니다
AMD64 및 ARM64 CPU 및 NVIDIA GPUS를 사용한 GPU- 셀러 된 추론을 지원합니다.
? SBOM, 출처 증명 및 서명 된 이미지로 공급망 보안 보장
? 자체 호스팅, 로컬 또는 원격 컨테이너 레지스트리가있는 에어 갭 환경을 지원하여 가장자리에서 추론을위한 모델 이미지를 저장합니다.

빠른 시작

GPU없이 로컬 컴퓨터에서 Aikit을 신속하게 시작할 수 있습니다!

docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.1:8b

이 실행 후 http : // localhost : 8080/채팅으로 webui에 액세스하십시오!

API

Aikit은 OpenAI API 호환 엔드 포인트를 제공하므로 OpenAI API 호환 클라이언트를 사용하여 Open LLM에 요청을 보낼 수 있습니다!

curl http://localhost:8080/v1/chat/completions -H " Content-Type: application/json " -d ' {
    "model": "llama-3.1-8b-instruct",
    "messages": [{"role": "user", "content": "explain kubernetes in a sentence"}]
  } '

출력은 다음과 유사해야합니다.

 {
  // ...
    "model" : "llama-3.1-8b-instruct" ,
    "choices" : [
        {
            "index" : 0 ,
            "finish_reason" : "stop" ,
            "message" : {
                "role" : "assistant" ,
                "content" : "Kubernetes is an open-source container orchestration system that automates the deployment, scaling, and management of applications and services, allowing developers to focus on writing code rather than managing infrastructure."
            }
        }
    ] ,
  // ...
}

그게 다야! ? API는 OpenAI 호환이므로 OpenAI API 호환 클라이언트를위한 드롭 인 교체입니다.

사전 제작 된 모델

Aikit은 상자 외부에서 사용할 수있는 미리 만들어진 모델이 있습니다!

특정 모델이 포함되어 있지 않은 경우 언제든지 자신의 이미지를 만들고 선택한 컨테이너 레지스트리에서 호스트 할 수 있습니다!

CPU

메모

Aikit은 AMD64 및 ARM64 CPU를 모두 지원합니다. 아키텍처에서 동일한 명령을 실행할 수 있으며 Docker는 CPU의 올바른 이미지를 자동으로 가져옵니다.

CPU 기능에 따라 Aikit은 가장 최적화 된 명령어 세트를 자동으로 선택합니다.

모델	최적화	매개 변수	명령	모델 이름	특허
? 라마 3.2	지시하십시오	1B	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.2:1b`	`llama-3.2-1b-instruct`	야마
? 라마 3.2	지시하십시오	3B	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.2:3b`	`llama-3.2-3b-instruct`	야마
? 라마 3.1	지시하십시오	8b	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.1:8b`	`llama-3.1-8b-instruct`	야마
? 라마 3.1	지시하십시오	70b	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.1:70b`	`llama-3.1-70b-instruct`	야마
ⓜ️ 믹스 트랄	지시하십시오	8x7b	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/mixtral:8x7b`	`mixtral-8x7b-instruct`	아파치
? ️ PHI 3.5	지시하십시오	3.8b	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/phi3.5:3.8b`	`phi-3.5-3.8b-instruct`	MIT
? 젬마 2	지시하십시오	2B	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/gemma2:2b`	`gemma-2-2b-instruct`	아체
codestral 0.1	암호	22b	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/codestral:22b`	`codestral-22b`	MNLP

Nvidia Cuda

메모

GPU 가속도를 활성화하려면 GPU 가속도를 참조하십시오.

CPU와 GPU 섹션의 차이점은 GPU 가속도를 활성화하기위한 명령의 --gpus all 플래그입니다.

모델	최적화	매개 변수	명령	모델 이름	특허
? 라마 3.2	지시하십시오	1B	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/llama3.2:1b`	`llama-3.2-1b-instruct`	야마
? 라마 3.2	지시하십시오	3B	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/llama3.2:3b`	`llama-3.2-3b-instruct`	야마
? 라마 3.1	지시하십시오	8b	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/llama3.1:8b`	`llama-3.1-8b-instruct`	야마
? 라마 3.1	지시하십시오	70b	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/llama3.1:70b`	`llama-3.1-70b-instruct`	야마
ⓜ️ 믹스 트랄	지시하십시오	8x7b	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/mixtral:8x7b`	`mixtral-8x7b-instruct`	아파치
? ️ PHI 3.5	지시하십시오	3.8b	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/phi3.5:3.8b`	`phi-3.5-3.8b-instruct`	MIT
? 젬마 2	지시하십시오	2B	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/gemma2:2b`	`gemma-2-2b-instruct`	아체
codestral 0.1	암호	22b	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/codestral:22b`	`codestral-22b`	MNLP
? 플럭스 1 개발자	이미지에 텍스트	12b	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/flux1:dev`	`flux-1-dev`	Flux.1 [dev] 비상업적 라이센스

사과 실리콘 (실험)

메모

Apple Silicon에서 GPU 가속도를 활성화하려면 Podman 데스크탑 문서를 참조하십시오. 자세한 내용은 GPU 가속도를 참조하십시오.

Apple Silicon은 실험적인 런타임이며 향후 변경 될 수 있습니다. 이 런타임은 Apple Silicon에만 해당되며 Intel Mac을 포함한 다른 아키텍처에서는 예상대로 작동하지 않습니다.

Apple Silicon에서는 gguf 모델 만 지원됩니다.

모델	최적화	매개 변수	명령	모델 이름	특허
? 라마 3.2	지시하십시오	1B	`podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/sozercan/applesilicon/llama3.2:1b`	`llama-3.2-1b-instruct`	야마
? 라마 3.2	지시하십시오	3B	`podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/sozercan/applesilicon/llama3.2:3b`	`llama-3.2-3b-instruct`	야마
? 라마 3.1	지시하십시오	8b	`podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/sozercan/applesilicon/llama3.1:8b`	`llama-3.1-8b-instruct`	야마
? ️ PHI 3.5	지시하십시오	3.8b	`podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/sozercan/applesilicon/phi3.5:3.8b`	`phi-3.5-3.8b-instruct`	MIT
? 젬마 2	지시하십시오	2B	`podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/sozercan/applesilicon/gemma2:2b`	`gemma-2-2b-instruct`	아체