勒姆x

法学硕士

Chrome 扩展 |网络/移动应用程序

隐私声明：

LLM X 不会进行任何外部 api 调用。 （继续，检查您的网络选项卡并查看“获取”部分）。您的聊天和图像生成是 100% 私密的。该网站/应用程序完全离线工作。

问题：

LLM X（网络应用程序）不会连接到不安全的服务器。这意味着您可以在本地主机上使用 LLM X（被视为安全上下文），但如果您尝试通过网络使用 llm-x，则服务器需要来自 https，否则它将无法工作。

最近添加：

• 多型号支持！聊天现在支持来自任何连接的服务器的多个模型，并且可以同时响应每个模型
• 快删除！使用快速搜索/ kbar 面板，删除所有应用程序相关数据非常容易
• Chrome 扩展支持！网络应用程序的所有功能均内置于浏览器中
• 双子座纳米支持！
• IndexedDB 支持！所有文本现在都保存在 IndexedDB 而不是本地存储中
• 加载时自动连接。如果有可见且准备连接的服务器，我们会为您连接到它

如何使用：

申请先决条件

• Ollama：下载并安装 Ollama
  • 从库中拉出一个（或几个）模型 例如： ollama pull llava （或使用应用程序）
• LM Studio：下载并安装 LM Studio
• AUTOMATIC1111：Git克隆AUTOMATIC1111（用于图像生成）
• Gemini Nano：下载并安装 Chrome Canary
  • 通过选择BypassPerfRequirement启用“在设备模型上”
  • 为 nano 启用 Api Gemini
  • 重新启动 Chrome（可能需要等待下载）

如何使用网络客户端（无需安装）：

Web 客户端的先决条件

• 奥拉马选项：
  • 使用 Ollama 的 FAQ 设置OLLAMA_ORIGINS = https://mrdjohnson.github.io
  • 在终端中运行OLLAMA_ORIGINS=https://mrdjohnson.github.io ollama serve
    • （Powershell 用户： $env:OLLAMA_ORIGINS="https://mrdjohnson.github.io"; ollama serve ）
• LM工作室：
  • 在终端中运行以下命令： lms server start --cors=true
• A1111：
  • 在 a1111 项目文件夹中运行以下命令： ./webui.sh --api --listen --cors-allow-origins "*"
• Gemini Nano：自动工作

---

• 使用浏览器访问 LLM-X
• 下线吧！ （选修的）
• 开始聊天吧！

Chrome 扩展的先决条件

• 下载并安装 Chrome 扩展程序
• 理想情况下，这是开箱即用的，不需要任何特殊的东西来连接！如果没有继续执行以下步骤：
• 奥拉马选项：
  • 使用 Ollama 的 FAQ 设置OLLAMA_ORIGINS = chrome-extension://iodcdhcpahifeligoegcmcdibdkffclk
  • 在终端中运行OLLAMA_ORIGINS=chrome-extension://iodcdhcpahifeligoegcmcdibdkffclk ollama serve
    • （Powershell 用户： $env:OLLAMA_ORIGINS="chrome-extension://iodcdhcpahifeligoegcmcdibdkffclk"; ollama serve ）
• LM工作室：
  • 在终端中运行以下命令： lms server start --cors=true
• A1111：
  • 在 a1111 项目文件夹中运行以下命令： ./webui.sh --api --listen --cors-allow-origins "*"

离线使用方法：

• 按照“如何使用网络客户端”的说明进行操作
• 在您的浏览器搜索栏中，应该有一个下载/安装按钮，按下该按钮。
• 下线吧！ （选修的）
• 开始聊天吧！

如何从项目源使用：

项目来源的先决条件

• Ollama：在您的终端ollama serve中运行此命令
• LM Studio：在终端中运行： lms server start
• A1111：在 a1111 项目文件夹中运行此命令： ./webui.sh --api --listen

---

视频预览模式

• 拉下这个项目； yarn install ， yarn preview
• 下线吧！ （选修的）
• 开始聊天吧！

码头工人

• 在终端中运行： docker compose up -d
• 打开http://localhost:3030
• 下线吧！ （选修的）
• 开始聊天吧！

Chrome 扩展程序

• 拉下这个项目； yarn chrome:build
• 导航到chrome://extensions/
• 从路径加载解压的（开发者模式选项）： llm-x/extensions/chrome/dist

目标/特点

• 完全私密；完全离线工作
• 奥拉马整合！
• LM Studio 集成！
• 开放AI服务器集成！
• 双子座纳米集成！
• 自动1111集成！
• 通过 AUTOMATIC1111生成文本到图像
• 使用 Ollama 的多模式功能将图像转为文本
• 使用Highlight.js 进行代码高亮显示（目前仅处理通用语言）
• 搜索/命令栏可通过 kbar 快速访问应用程序功能
• 乳胶支持
• 允许用户拥有任意数量的连接！
• 自动保存聊天记录
• 管理多个聊天
• 复制/编辑/删除发送或接收的消息
• 重写用户消息（触发响应刷新）
• 通过“角色”功能进行系统提示定制
• 通过 DaisyUI 更改主题
• 聊天图像通过另一个反应灯箱进行模态预览
• 导入/导出聊天记录
• 持续部署！合并到 master 分支会自动触发新的 github 页面构建/部署

截图：

使用 Google 设备上的 Gemini Nano 显示 Chrome 扩展模式

使用 Ollama 的 llama3.2-vision 显示 Chrome 扩展模式

表现出同时运行 ollama 和 LM Studio 的能力

关于标志的对话

图像生成示例！

展示多功能栏和代码

展示代码和浅色主题

回复关于一只猫的问题

乳胶支持！

另一个标志响应

这是什么？ ChatGPT 风格的 UI，适合本地运行 Ollama（将其视为离线聊天 GPT 服务器）的小众群体。支持发送和接收图像和文本！通过 PWA（渐进式 Web 应用程序）标准离线工作（它还没有消亡！）

为什么要这样做？我对LLM UI感兴趣已经有一段时间了，这似乎是一个很好的入门应用程序。通过这个项目，我也了解了很多现代技术，这很有趣！

为什么这么多流行词？我忍不住要酷起来？

技术堆栈（谢谢）：

逻辑助手：

• 反应
• 打字稿
• 洛达什
• 佐德
• 莫布克斯
• Mobx 状态树（非常适合快速启动项目，但不适合长期维护）
• Langchain.js

用户界面助手：

• 顺风 CSS
• 黛西用户界面
• 下一个界面
• 高亮.js
• 反应降价
• 千巴
• 另一个 React 灯箱
• 将语音响应文本

项目设置助手：

• 维特
• Vite PWA 插件
• Vite 插件网页扩展

灵感： ollama-ui 的项目。允许用户通过网络应用程序连接到 ollama

Perplexity.ai Perplexity 在 LLM UI 领域有一些惊人的 UI 进步，我对此非常感兴趣。希望这个入门项目能让我更接近做类似的事情！

开始本地开发

（请注意 json 包中的最低引擎要求）

克隆项目，并在根目录中运行yarn

yarn dev启动本地实例并在 https:// 下打开浏览器选项卡（出于 PWA 原因）

管理信息中心

• 在这个应用程序上尝试使用 LangChain.js，但不幸的是它没有正确设置以停止传入流，我希望这个问题在将来得到修复，或者如果可能的话可以使用自定义 LLM 代理来使用 LangChain

  • 编辑：Langchain 正在运行并已添加到应用程序中！

• 最初我使用了 create-react-app ？在制作这个项目而不知道它不再维护的情况下，我现在正在使用Vite。 ？这已经允许我使用像ollama-js这样我以前无法使用的库。很快将使用 langchain 进行更多测试

• 本自述文件是使用 https://stackedit.io/app 编写的

• 对主分支的更改会触发立即部署到 https://mrdjohnson.github.io/llm-x/