aikit下載 - aikit源代碼下載

aikit

其他源碼

v0.15.0

下載

艾基

Aikit是一個綜合的平台，可以快速開始託管，部署，構建和微調大語言模型（LLMS）。

Aikit提供了兩個主要功能：

推理：Aikit使用Localai，它支持廣泛的推理功能和格式。 Localai提供了兼容OpenAI API的倒入替換REST API，因此您可以使用任何OpenAI API兼容客戶端，例如Kubectl AI，Chatbot-UI等，以發送請求向Open LLMS發送請求！
微調：Aikit提供了可擴展的微調接口。它為快速，內存效率和簡單的微調體驗提供了不舒服的支持。

有關完整的文檔，請參閱Aikit網站！

特徵

？除Docker外，沒有GPU，Internet訪問或其他工具！
？最小圖像大小，從而減少了脆弱性和較小的攻擊表面，並具有基於自定義分散圖像的圖像
？微調支持
易於使用用於推理和微調的聲明配置
與任何OpenAI API兼容客戶端一起使用的OpenAI API
？多模式模型支持
？圖像生成支持
？對GGUF（ llama ），GPTQ或EXL2（ exllama2 ）和GGML（ llama-ggml ）和Mamba模型的支持
？ Kubernetes部署準備好了
？用單個圖像支持多個模型
支持AMD64和ARM64 CPU，並使用NVIDIA GPUS進行推理
？通過SBOM，出處證明和簽名圖像確保供應鏈安全
？支持帶有自託管，本地或任何遠程容器註冊表的空調環境，以存儲模型圖像以推斷邊緣。

快速開始

您可以在沒有GPU的情況下快速在本地機器上快速使用Aikit！

docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.1:8b

運行此操作後，導航到http：// localhost：8080/聊天以訪問webui！

API

Aikit提供了OpenAI API兼容端點，因此您可以使用任何OpenAI API兼容客戶端將請求發送到Open LLMS！

curl http://localhost:8080/v1/chat/completions -H " Content-Type: application/json " -d ' {
    "model": "llama-3.1-8b-instruct",
    "messages": [{"role": "user", "content": "explain kubernetes in a sentence"}]
  } '

輸出應類似於：

 {
  // ...
    "model" : "llama-3.1-8b-instruct" ,
    "choices" : [
        {
            "index" : 0 ,
            "finish_reason" : "stop" ,
            "message" : {
                "role" : "assistant" ,
                "content" : "Kubernetes is an open-source container orchestration system that automates the deployment, scaling, and management of applications and services, allowing developers to focus on writing code rather than managing infrastructure."
            }
        }
    ] ,
  // ...
}

就是這樣！？ API是OpenAI兼容的，因此對於任何OpenAI API兼容客戶端，這都是替換。

預製模型

Aikit帶有預製型號，您可以使用開箱即用！

如果不包括特定模型，您始終可以創建自己的圖像，並在您選擇的容器註冊表中主機！

中央處理器

筆記

Aikit支持AMD64和ARM64 CPU。您可以在任何一個體系結構上運行相同的命令，Docker將自動為您的CPU提取正確的圖像。

根據您的CPU功能，Aikit將自動選擇最優化的指令集。

模型	最佳化	參數	命令	模型名稱	執照
？美洲駝3.2	指示	1B	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.2:1b`	`llama-3.2-1b-instruct`	駱駝
？美洲駝3.2	指示	3b	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.2:3b`	`llama-3.2-3b-instruct`	駱駝
？駱駝3.1	指示	8b	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.1:8b`	`llama-3.1-8b-instruct`	駱駝
？駱駝3.1	指示	70B	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.1:70b`	`llama-3.1-70b-instruct`	駱駝
ⓜ️混音	指示	8x7b	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/mixtral:8x7b`	`mixtral-8x7b-instruct`	apache
？️ PHI 3.5	指示	3.8b	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/phi3.5:3.8b`	`phi-3.5-3.8b-instruct`	麻省理工學院
？ Gemma 2	指示	2b	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/gemma2:2b`	`gemma-2-2b-instruct`	芽
⌨️codestral 0.1	代碼	22b	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/codestral:22b`	`codestral-22b`	MNLP

NVIDIA CUDA

筆記

要啟用GPU加速度，請參閱GPU加速度。

請注意，CPU和GPU部分之間只有差異是命令中的--gpus all標誌以啟用GPU加速度。

模型	最佳化	參數	命令	模型名稱	執照
？美洲駝3.2	指示	1B	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/llama3.2:1b`	`llama-3.2-1b-instruct`	駱駝
？美洲駝3.2	指示	3b	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/llama3.2:3b`	`llama-3.2-3b-instruct`	駱駝
？駱駝3.1	指示	8b	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/llama3.1:8b`	`llama-3.1-8b-instruct`	駱駝
？駱駝3.1	指示	70B	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/llama3.1:70b`	`llama-3.1-70b-instruct`	駱駝
ⓜ️混音	指示	8x7b	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/mixtral:8x7b`	`mixtral-8x7b-instruct`	apache
？️ PHI 3.5	指示	3.8b	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/phi3.5:3.8b`	`phi-3.5-3.8b-instruct`	麻省理工學院
？ Gemma 2	指示	2b	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/gemma2:2b`	`gemma-2-2b-instruct`	芽
⌨️codestral 0.1	代碼	22b	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/codestral:22b`	`codestral-22b`	MNLP
？ Flux 1 Dev	文字到圖像	12b	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/flux1:dev`	`flux-1-dev`	Flux.1 [DEV]非商業許可證

蘋果矽（實驗）

筆記

要在Apple Silicon上啟用GPU加速，請參閱Podman桌面文檔。有關更多信息，請參閱GPU加速度。

Apple Silicon是一個實驗性的運行時，將來可能會改變。此運行時僅針對Apple Silicon，並且在包括Intel Mac在內的其他體系結構上無法正常工作。

Apple Silicon僅支持gguf型號。

模型	最佳化	參數	命令	模型名稱	執照
？美洲駝3.2	指示	1B	`podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/sozercan/applesilicon/llama3.2:1b`	`llama-3.2-1b-instruct`	駱駝
？美洲駝3.2	指示	3b	`podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/sozercan/applesilicon/llama3.2:3b`	`llama-3.2-3b-instruct`	駱駝
？駱駝3.1	指示	8b	`podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/sozercan/applesilicon/llama3.1:8b`	`llama-3.1-8b-instruct`	駱駝
？️ PHI 3.5	指示	3.8b	`podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/sozercan/applesilicon/phi3.5:3.8b`	`phi-3.5-3.8b-instruct`	麻省理工學院
？ Gemma 2	指示	2b	`podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/sozercan/applesilicon/gemma2:2b`	`gemma-2-2b-instruct`	芽