LocalAI
v2.23.0
取得協助 - 常見問題討論 Discord 文件網站
快速入門模型路線圖？演示？探險家？範例
LocalAI是免費的開源 OpenAI 替代品。 LocalAI 充當 REST API 的直接替代品，與用於本地 AI 推理的 OpenAI（Elevenlabs、Anthropic...）API 規範相容。它允許您使用消費級硬體在本地或本地運行 LLM、生成圖像、音訊（不僅如此），支援多個模型系列。不需要 GPU。它由 Ettore Di Giacinto 創建和維護。
運行安裝程式腳本：
捲曲 https://localai.io/install.sh |噓
或使用 docker 運行：
docker run -ti --name local-ai -p 8080:8080 localai/localai:latest-aio-cpu# 替代映像:# - 如果你有 Nvidia GPU:# docker run -ti --name local-ai -p 8080 :8080 --gpus 所有localai/localai:latest-aio-gpu-nvidia-cuda-12# - 無預先設定型號# docker run -ti --name local-ai -p 8080:8080 localai/localai:latest# -沒有Nvidia GPU 的預先設定模型# docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-12
載入模型：
# 從模型庫（透過模型標籤的 WebUI 中的「local-ai models list」查看可用模型，或造訪 https://models.localai.io）local-ai 執行 llama-3.2-1b-instruct： q4_k_m#直接從Huggingface 使用phi-2 模型啟動LocalAIlocal-ai run Huggingface://TheBloke/phi-2-GGUF/phi-2.Q8_0.gguf# 從Ollama OCI 註冊表安裝並執行模型local-ai run ollama :/ /gemma:2b# 從設定檔執行模型local-ai run https://gist.githubusercontent.com/.../phi-2.yaml# 從標準OCI 註冊表安裝並執行模型（例如， Docker Hub)local -ai 運行oci://localai/phi-2:latest
入門
2024 年 10 月：範例移至 LocalAI-examples
2024 年 8 月：？ FLUX-1，P2P 瀏覽器
2024 年 7 月：？ P2P 儀表板、LocalAI 聯合模式與 AI Swarms：#2723
2024 年 6 月：？現在您可以在沒有 LocalAI 的情況下瀏覽模型庫！查看 https://models.localai.io
2024 年 6 月：支持 OCI 註冊中心的模式：#2628
2024 年 5 月：去中心化 P2P llama.cpp：#2343（peer2peer llama.cpp！）文件 https://localai.io/features/distribute/
2024 年 5 月：Openvoice：#2334
2024 年 5 月：？無語法和混合模式的函數呼叫：#2328
2024 年 5 月：分佈式推理：#2324
2024 年 5 月：WebUI 中的聊天、TTS 和圖像生成：#2222
2024 年 4 月：Reranker API：#2121
路線圖項目：問題列表
具有 vLLM 和視訊理解的多模式：#3729
即時 API #3714
分散式、P2P 全球社區池：#3113
WebUI 改進：#2156
後端 v2：#1126
改進使用者體驗 v2：#1373
助理 API：#1273
審核端點：#999
伏爾甘：#1647
人擇 API：#1808
如果您想提供協助和貢獻，請提交問題：https://github.com/mudler/LocalAI/issues?q=is%3Aissue+is%3Aopen+label%3A%22up+for+grabs%22
使用 GPT 產生文字（ llama.cpp 、 gpt4all.cpp等）
文字轉音頻
音訊轉文字（使用whisper.cpp進行音訊轉錄）
具有穩定擴散的影像生成
類似 OpenAI 的工具 API
向量資料庫的嵌入生成
約束語法
直接從 Huggingface 下載模型
視覺API
重新排序API
P2P推理
整合WebUI！
查看我們文件中的入門部分。
建置和部署自訂容器：
https://github.com/sozercan/aikit
網路使用者介面：
https://github.com/Jirubizu/localai-admin
https://github.com/go-skynet/LocalAI-frontend
QA-Pilot（一個互動式聊天項目，利用 LocalAI LLM 快速理解和導航 GitHub 程式碼儲存庫） https://github.com/reid41/QA-Pilot
模型畫廊
https://github.com/go-skynet/model-gallery
其他：
Helm 圖表 https://github.com/go-skynet/helm-charts
VSCode 擴充 https://github.com/badgooooor/localai-vscode-plugin
終端實用程式 https://github.com/djcopley/ShellOracle
本地智慧助理 https://github.com/mudler/LocalAGI
家庭助理 https://github.com/sammcj/homeassistant-localai / https://github.com/drndos/hass-openai-custom-conversation / https://github.com/valentinfrlch/ha-gpt4vision
Discord 機器人 https://github.com/mudler/LocalAGI/tree/main/examples/discord
Slack 機器人 https://github.com/mudler/LocalAGI/tree/main/examples/slack
Shell-Pilot（在 Linux 或 MacOS 系統上透過純 shell 腳本使用 LocalAI 模型與 LLM 互動） https://github.com/reid41/shell-pilot
電報機器人 https://github.com/mudler/LocalAI/tree/master/examples/telegram-bot
Github 操作：https://github.com/marketplace/actions/start-localai
範例：https://github.com/mudler/LocalAI/tree/master/examples/
LLM微調指南
如何本地建構
如何在 Kubernetes 中安裝
整合LocalAI的項目
操作方法部分（由我們的社區策劃）
使用 LocalAI (SUSE) 執行 Visual Studio 程式碼
在 Jetson Nano Devkit 上執行 LocalAI
使用 Pulumi 在 AWS EKS 上運行 LocalAI
在 AWS 上運行 LocalAI
為團隊和 OSS 專案建立一個回應文件的 slackbot
LocalAI 遇見 k8sgpt
使用 LangChain、LocalAI、Chroma 和 GPT4All 對本地文件進行問答
將 k8sgpt 與 LocalAI 結合使用的教學課程
如果您在下游專案中使用此儲存庫和數據，請考慮使用以下方式引用它：
@misc{localai,
author = {Ettore Di Giacinto},
title = {LocalAI: The free, Open source OpenAI alternative},
year = {2023},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {url{https://github.com/go-skynet/LocalAI}},您覺得 LocalAI 有用嗎？
透過成為支持者或贊助商來支持該計畫。您的徽標將顯示在此處，並帶有指向您網站的連結。
非常感謝我們慷慨的贊助商支持這個項目，涵蓋 CI 費用，以及我們的贊助商名單：
LocalAI 是由 Ettore Di Giacinto 創建的社群驅動專案。
麻省理工學院 - 作者 Ettore Di Giacinto [email protected]
如果沒有社群已有的優秀軟體的幫助，LocalAI 就不可能建構出來。謝謝你！
駱駝.cpp
https://github.com/tatsu-lab/stanford_alpaca
https://github.com/cornelk/llama-go 了解最初的想法
https://github.com/antimatter15/alpaca.cpp
https://github.com/EdVince/Stable-Diffusion-NCNN
https://github.com/ggerganov/whisper.cpp
https://github.com/saharNooby/rwkv.cpp
https://github.com/rhasspy/piper
這是一個社區項目，特別感謝我們的貢獻者！ ？
