aikitダウンロードaikitソースコードのダウンロード

aikit

その他のソースコード

v0.15.0

ダウンロード

aikit

Aikitは、大規模な言語モデル（LLM）をホスト、展開、構築、微調整するために迅速に開始するための包括的なプラットフォームです。

Aikitは2つの主な機能を提供します。

推論：AikitはLocalaiを使用します。これは、幅広い推論機能と形式をサポートしています。 Localaiは、Openai API互換性のあるドロップイン交換用のREST APIを提供するため、Kubectl AI、Chatbot-UIなどのOpenAI API互換クライアントを使用して、LLMSを開くリクエストを送信できます。
微調整：Aikitは、拡張可能な微調整インターフェイスを提供します。速く、メモリ効率が高く、簡単な微調整エクスペリエンスのために、眠れをサポートしています。

完全なドキュメントについては、Aikit Webサイトをご覧ください！

特徴

？ Dockerを除いて、GPU、インターネットアクセス、または追加のツールは必要ありません！
？画像サイズを最小限に抑え、カスタムディストリビューションベースの画像を備えた脆弱性が低くなり、攻撃面が小さくなります。
？サポートを微調整します
推論と微調整のための宣言構成を使いやすい
Openai API互換性のあるOpenai API互換クライアントと使用できる
？マルチモーダルモデルサポート
？§イメージ生成サポート
？ GGUF（ llama ）、GPTQまたはEXL2（ exllama2 ）、およびGGML（ llama-ggml ）およびMambaモデルのサポート
？ Kubernetes展開準備完了
？単一の画像で複数のモデルをサポートします
AMD64およびARM64 CPUをサポートし、NVIDIA GPUを使用してGPUが加速した推論をサポートします
？ SBOM、起源の証明、および署名された画像を使用してサプライチェーンのセキュリティを確保する
？自己ホスト、ローカル、またはリモートコンテナレジストリを備えたエアギャップされた環境をサポートし、モデル画像をエッジに推論するために保存します。

クイックスタート

GPUなしでローカルマシンでAikitをすばやく開始できます！

docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.1:8b

これを実行した後、http：// localhost：8080に移動してWebUIにアクセスしてください！

API

AikitはOpenAI API互換のエンドポイントを提供するため、OpenAI API互換クライアントを使用してLLMSを開くリクエストを送信できます。

curl http://localhost:8080/v1/chat/completions -H " Content-Type: application/json " -d ' {
    "model": "llama-3.1-8b-instruct",
    "messages": [{"role": "user", "content": "explain kubernetes in a sentence"}]
  } '

出力は以下に似ている必要があります。

 {
  // ...
    "model" : "llama-3.1-8b-instruct" ,
    "choices" : [
        {
            "index" : 0 ,
            "finish_reason" : "stop" ,
            "message" : {
                "role" : "assistant" ,
                "content" : "Kubernetes is an open-source container orchestration system that automates the deployment, scaling, and management of applications and services, allowing developers to focus on writing code rather than managing infrastructure."
            }
        }
    ] ,
  // ...
}

それでおしまい！？ APIはOpenAI互換性があるため、これはOpenAI API互換クライアントのドロップイン交換です。

事前に作られたモデル

Aikitには、すぐに使用できる事前に作られたモデルが付属しています！

特定のモデルが含まれていない場合は、いつでも独自の画像を作成し、選択したコンテナレジストリにホストできます。

CPU

注記

AIKITは、AMD64とARM64 CPUの両方をサポートしています。どちらのアーキテクチャでも同じコマンドを実行でき、DockerはCPUの正しい画像を自動的にプルします。

CPU機能に応じて、AIKITは最も最適化された命令セットを自動的に選択します。

モデル	最適化	パラメーター	指示	モデル名	ライセンス
？ラマ3.2	指示	1b	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.2:1b`	`llama-3.2-1b-instruct`	ラマ
？ラマ3.2	指示	3b	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.2:3b`	`llama-3.2-3b-instruct`	ラマ
？ラマ3.1	指示	8b	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.1:8b`	`llama-3.1-8b-instruct`	ラマ
？ラマ3.1	指示	70b	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.1:70b`	`llama-3.1-70b-instruct`	ラマ
ⓜⓜ️ Mixtral	指示	8x7b	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/mixtral:8x7b`	`mixtral-8x7b-instruct`	アパッチ
？§ PHI 3.5	指示	3.8b	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/phi3.5:3.8b`	`phi-3.5-3.8b-instruct`	mit
？ジェマ2	指示	2b	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/gemma2:2b`	`gemma-2-2b-instruct`	ジェマ
Codestral 0.1	コード	22b	`docker run -d --rm -p 8080:8080 ghcr.io/sozercan/codestral:22b`	`codestral-22b`	MNLP

nvidia cuda

注記

GPU加速度を有効にするには、GPU加速度を参照してください。

CPUセクションとGPUセクションの違いのみが、GPU加速度を有効にするコマンド内の--gpus allフラグです。

モデル	最適化	パラメーター	指示	モデル名	ライセンス
？ラマ3.2	指示	1b	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/llama3.2:1b`	`llama-3.2-1b-instruct`	ラマ
？ラマ3.2	指示	3b	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/llama3.2:3b`	`llama-3.2-3b-instruct`	ラマ
？ラマ3.1	指示	8b	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/llama3.1:8b`	`llama-3.1-8b-instruct`	ラマ
？ラマ3.1	指示	70b	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/llama3.1:70b`	`llama-3.1-70b-instruct`	ラマ
ⓜⓜ️ Mixtral	指示	8x7b	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/mixtral:8x7b`	`mixtral-8x7b-instruct`	アパッチ
？§ PHI 3.5	指示	3.8b	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/phi3.5:3.8b`	`phi-3.5-3.8b-instruct`	mit
？ジェマ2	指示	2b	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/gemma2:2b`	`gemma-2-2b-instruct`	ジェマ
Codestral 0.1	コード	22b	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/codestral:22b`	`codestral-22b`	MNLP
？ Flux 1 Dev	テキストから画像	12b	`docker run -d --rm --gpus all -p 8080:8080 ghcr.io/sozercan/flux1:dev`	`flux-1-dev`	Flux.1 [DEV]非営利ライセンス

アップルシリコン（実験）

注記

AppleシリコンでGPU加速度を有効にするには、Podman Desktopドキュメントを参照してください。詳細については、GPUアクセラレーションをご覧ください。

Apple Siliconは実験的なランタイムであり、将来変化する可能性があります。このランタイムはApple Siliconのみに固有であり、Intel Macを含む他のアーキテクチャでは期待どおりに機能しません。

Appleシリコンではggufモデルのみがサポートされています。

モデル	最適化	パラメーター	指示	モデル名	ライセンス
？ラマ3.2	指示	1b	`podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/sozercan/applesilicon/llama3.2:1b`	`llama-3.2-1b-instruct`	ラマ
？ラマ3.2	指示	3b	`podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/sozercan/applesilicon/llama3.2:3b`	`llama-3.2-3b-instruct`	ラマ
？ラマ3.1	指示	8b	`podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/sozercan/applesilicon/llama3.1:8b`	`llama-3.1-8b-instruct`	ラマ
？§ PHI 3.5	指示	3.8b	`podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/sozercan/applesilicon/phi3.5:3.8b`	`phi-3.5-3.8b-instruct`	mit
？ジェマ2	指示	2b	`podman run -d --rm --device /dev/dri -p 8080:8080 ghcr.io/sozercan/applesilicon/gemma2:2b`	`gemma-2-2b-instruct`	ジェマ