首页>编程相关>其他源码
下载

1731562395405980.jpeg

本地人工智能

获取帮助 - 常见问题讨论 Discord 文档网站

快速入门模型路线图？演示？探险家？示例

LocalAI是免费的开源 OpenAI 替代品。 LocalAI 充当 REST API 的直接替代品，与用于本地 AI 推理的 OpenAI（Elevenlabs、Anthropic...）API 规范兼容。它允许您使用消费级硬件在本地或本地运行 LLM、生成图像、音频（不仅如此），支持多个模型系列。不需要 GPU。它由 Ettore Di Giacinto 创建和维护。

1731562425926754.png

运行安装程序脚本：

卷曲 https://localai.io/install.sh |嘘

或者使用 docker 运行：

 docker run -ti --name local-ai -p 8080:8080 localai/localai:latest-aio-cpu# 替代镜像:# - 如果你有 Nvidia GPU:# docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-aio-gpu-nvidia-cuda-12# - 没有预先配置的模型# docker run -ti --name local-ai -p 8080:8080 localai/localai:latest# - 没有 Nvidia GPU 的预配置模型# docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia -cuda-12

加载模型：

 # 从模型库（通过模型选项卡的 WebUI 中的“local-ai models list”查看可用模型，或访问 https://models.localai.io）local-ai 运行 llama-3.2-1b-instruct： q4_k_m# 直接从 Huggingface 中使用 phi-2 模型启动 LocalAIlocal-ai run Huggingface://TheBloke/phi-2-GGUF/phi-2.Q8_0.gguf# 从 Huggingface 安装并运行模型Ollama OCIregistrylocal-ai run ollama://gemma:2b# 从配置文件运行模型local-ai run https://gist.githubusercontent.com/.../phi-2.yaml# 安装并运行模型标准 OCI 注册表（例如 Docker Hub）local-ai 运行 oci://localai/phi-2:latest

入门

最新项目动态

  • 2024 年 10 月：示例移至 LocalAI-examples

  • 2024 年 8 月：？ FLUX-1，P2P 浏览器

  • 2024 年 7 月：？ P2P 仪表板、LocalAI 联合模式和 AI Swarms：#2723

  • 2024 年 6 月：？您现在可以在没有 LocalAI 的情况下浏览模型库！查看 https://models.localai.io

  • 2024 年 6 月：支持 OCI 注册中心的模型：#2628

  • 2024 年 5 月：去中心化 P2P llama.cpp：#2343（peer2peer llama.cpp！）文档 https://localai.io/features/distribute/

  • 2024 年 5 月：Openvoice：#2334

  • 2024 年 5 月：？无语法和混合模式的函数调用：#2328

  • 2024 年 5 月：分布式推理：#2324

  • 2024 年 5 月：WebUI 中的聊天、TTS 和图像生成：#2222

  • 2024 年 4 月：Reranker API：#2121

路线图项目：问题列表

热门话题（寻求帮助）：

  • 具有 vLLM 和视频理解的多模式：#3729

  • 实时 API #3714

  • 分布式、P2P 全球社区池：#3113

  • WebUI 改进：#2156

  • 后端 v2：#1126

  • 改进用户体验 v2：#1373

  • 助理 API：#1273

  • 审核端点：#999

  • 伏尔甘：#1647

  • 人择 API：#1808

如果您想提供帮助和贡献，请提交问题：https://github.com/mudler/LocalAI/issues?q=is%3Aissue+is%3Aopen+label%3A%22up+for+grabs%22

特征

  • 使用 GPT 生成文本（ llama.cpp 、 gpt4all.cpp等）

  • 文本转音频

  • 音频转文本（使用whisper.cpp进行音频转录）

  • 具有稳定扩散的图像生成

  • 类似 OpenAI 的工具 API

  • 矢量数据库的嵌入生成

  • 约束语法

  • 直接从 Huggingface 下载模型

  • 视觉API

  • 重新排序API

  • P2P推理

  • 集成WebUI！

用法

查看我们文档中的入门部分。

社区和集成

构建和部署自定义容器：

  • https://github.com/sozercan/aikit

网络用户界面：

  • https://github.com/Jirubizu/localai-admin

  • https://github.com/go-skynet/LocalAI-frontend

  • QA-Pilot（一个交互式聊天项目，利用 LocalAI LLM 快速理解和导航 GitHub 代码存储库） https://github.com/reid41/QA-Pilot

模型画廊

  • https://github.com/go-skynet/model-gallery

其他：

  • Helm 图表 https://github.com/go-skynet/helm-charts

  • VSCode 扩展 https://github.com/badgooooor/localai-vscode-plugin

  • 终端实用程序 https://github.com/djcopley/ShellOracle

  • 本地智能助手 https://github.com/mudler/LocalAGI

  • 家庭助理 https://github.com/sammcj/homeassistant-localai / https://github.com/drndos/hass-openai-custom-conversation / https://github.com/valentinfrlch/ha-gpt4vision

  • Discord 机器人 https://github.com/mudler/LocalAGI/tree/main/examples/discord

  • Slack 机器人 https://github.com/mudler/LocalAGI/tree/main/examples/slack

  • Shell-Pilot（在 Linux 或 MacOS 系统上通过纯 shell 脚本使用 LocalAI 模型与 LLM 交互） https://github.com/reid41/shell-pilot

  • 电报机器人 https://github.com/mudler/LocalAI/tree/master/examples/telegram-bot

  • Github 操作：https://github.com/marketplace/actions/start-localai

  • 示例：https://github.com/mudler/LocalAI/tree/master/examples/

资源

  • LLM微调指南

  • 如何本地构建

  • 如何在 Kubernetes 中安装

  • 集成LocalAI的项目

  • 操作方法部分（由我们的社区策划）

媒体、博客、社交

  • 使用 LocalAI (SUSE) 运行 Visual Studio 代码

  • 在 Jetson Nano Devkit 上运行 LocalAI

  • 使用 Pulumi 在 AWS EKS 上运行 LocalAI

  • 在 AWS 上运行 LocalAI

  • 为团队和 OSS 项目创建一个响应文档的 slackbot

  • LocalAI 遇见 k8sgpt

  • 使用 LangChain、LocalAI、Chroma 和 GPT4All 对本地文档进行问答

  • 将 k8sgpt 与 LocalAI 结合使用的教程

引文

如果您在下游项目中使用此存储库、数据，请考虑使用以下方式引用它： 

@misc{localai,
  author = {Ettore Di Giacinto},
  title = {LocalAI: The free, Open source OpenAI alternative},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/go-skynet/LocalAI}},

赞助商

您觉得 LocalAI 有用吗？

通过成为支持者或赞助商来支持该项目。您的徽标将显示在此处，并带有指向您网站的链接。

非常感谢我们慷慨的赞助商支持这个项目，涵盖 CI 费用，以及我们的赞助商名单：

明星历史

执照

LocalAI 是由 Ettore Di Giacinto 创建的社区驱动项目。

麻省理工学院 - 作者 Ettore Di Giacinto [email protected]

致谢

如果没有社区已有的优秀软件的帮助，LocalAI 就不可能构建出来。谢谢你！

  • 骆驼.cpp

  • https://github.com/tatsu-lab/stanford_alpaca

  • https://github.com/cornelk/llama-go 了解最初的想法

  • https://github.com/antimatter15/alpaca.cpp

  • https://github.com/EdVince/Stable-Diffusion-NCNN

  • https://github.com/ggerganov/whisper.cpp

  • https://github.com/saharNooby/rwkv.cpp

  • https://github.com/rhasspy/piper

贡献者

这是一个社区项目，特别感谢我们的贡献者！ ？

展开
附加信息
相关应用
为您推荐
相关资讯 全部