勒姆x

法學碩士

Chrome 擴充功能 |網路/行動應用程式

隱私權聲明：

LLM X 不會進行任何外部 api 呼叫。 （繼續，檢查您的網路標籤並查看「取得」部分）。您的聊天和圖像生成是 100% 私密的。該網站/應用程式完全離線工作。

問題：

LLM X（網頁應用程式）不會連接到不安全的伺服器。這表示您可以在本機上使用 LLM X（被視為安全上下文），但如果您嘗試透過網路使用 llm-x，則伺服器需要來自 https，否則它將無法運作。

最近新增：

• 多型號支援！聊天現在支援來自任何連接的伺服器的多個模型，並且可以同時回應每個模型
• 快刪除！使用快速搜尋/ kbar 面板，刪除所有應用程式相關資料非常容易
• Chrome 擴充功能支援！網路應用程式的所有功能均內建於瀏覽器中
• 雙子座奈米支援！
• IndexedDB 支援！所有文字現在都保存在 IndexedDB 而不是本地儲存中
• 載入時自動連線。如果有可見且準備連接的伺服器，我們會為您連接到它

如何使用：

申請先決條件

• Ollama：下載並安裝 Ollama
  • 從庫中拉出一個（或幾個）模型 例如： ollama pull llava （或使用應用程式）
• LM Studio：下載並安裝 LM Studio
• AUTOMATIC1111：Git克隆AUTOMATIC1111（用於影像生成）
• Gemini Nano：下載並安裝 Chrome Canary
  • 透過選擇BypassPerfRequirement啟用“在設備模型上”
  • 為 nano 啟用 Api Gemini
  • 重新啟動 Chrome（可能需要等待下載）

如何使用網路用戶端（無需安裝）：

Web 用戶端的先決條件

• 奧拉馬選項：
  • 使用 Ollama 的 FAQ 設定OLLAMA_ORIGINS = https://mrdjohnson.github.io
  • 在終端機中執行OLLAMA_ORIGINS=https://mrdjohnson.github.io ollama serve
    • （Powershell 使用者： $env:OLLAMA_ORIGINS="https://mrdjohnson.github.io"; ollama serve ）
• LM工作室：
  • 在終端機中執行以下命令： lms server start --cors=true
• A1111：
  • 在 a1111 專案資料夾中執行以下命令： ./webui.sh --api --listen --cors-allow-origins "*"
• Gemini Nano：自動工作

---

• 使用瀏覽器存取 LLM-X
• 下線吧！ （選修的）
• 開始聊天吧！

Chrome 擴充功能的先決條件

• 下載並安裝 Chrome 擴充功能
• 理想情況下，這是開箱即用的，不需要任何特殊的東西來連接！如果沒有繼續執行以下步驟：
• 奧拉馬選項：
  • 使用 Ollama 的 FAQ 設定OLLAMA_ORIGINS = chrome-extension://iodcdhcpahifeligoegcmcdibdkffclk
  • 在終端中執行OLLAMA_ORIGINS=chrome-extension://iodcdhcpahifeligoegcmcdibdkffclk ollama serve
    • （Powershell 使用者： $env:OLLAMA_ORIGINS="chrome-extension://iodcdhcpahifeligoegcmcdibdkffclk"; ollama serve ）
• LM工作室：
  • 在終端機中執行以下命令： lms server start --cors=true
• A1111：
  • 在 a1111 專案資料夾中執行以下命令： ./webui.sh --api --listen --cors-allow-origins "*"

離線使用方法：

• 請依照「如何使用網路用戶端」的說明進行操作
• 在您的瀏覽器搜尋列中，應該有一個下載/安裝按鈕，按下該按鈕。
• 下線吧！ （選修的）
• 開始聊天吧！

如何從專案來源使用：

專案來源的先決條件

• Ollama：在您的終端ollama serve中執行此命令
• LM Studio：在終端機中運作： lms server start
• A1111：在 a1111 專案資料夾中執行此指令： ./webui.sh --api --listen

---

影片預覽模式

• 拉下這個項目； yarn install ， yarn preview
• 下線吧！ （選修的）
• 開始聊天吧！

碼頭工人

• 在終端機中運作： docker compose up -d
• 開啟http://localhost:3030
• 下線吧！ （選修的）
• 開始聊天吧！

Chrome 擴充功能

• 拉下這個項目； yarn chrome:build
• 導覽至chrome://extensions/
• 從路徑載入解壓縮的（開發者模式選項）： llm-x/extensions/chrome/dist

目標/特點

• 完全私密；完全離線工作
• 奧拉馬整合！
• LM Studio 整合！
• 開放AI伺服器整合！
• 雙子座奈米整合！
• 自動1111集成！
• 透過 AUTOMATIC1111產生文字到圖像
• 使用 Ollama 的多模式功能將圖像轉為文字
• 使用Highlight.js 進行程式碼高亮顯示（目前僅處理通用語言）
• 搜尋/命令列可透過 kbar 快速存取應用程式功能
• 乳膠支持
• 允許使用者擁有任意數量的連線！
• 自動儲存聊天記錄
• 管理多個聊天
• 複製/編輯/刪除發送或接收的訊息
• 重寫用戶訊息（觸發回應刷新）
• 透過「角色」功能進行系統提示自訂
• 透過 DaisyUI 更改主題
• 聊天影像透過另一個反應燈箱進行模態預覽
• 匯入/匯出聊天記錄
• 持續部署！合併到 master 分支會自動觸發新的 github 頁面建置/部署

截圖：

使用 Google 裝置上的 Gemini Nano 顯示 Chrome 擴充模式

使用 Ollama 的 llama3.2-vision 顯示 Chrome 擴充模式

展現同時運作 ollama 和 LM Studio 的能力

關於標誌的對話

圖像生成範例！

展示多功能欄和程式碼

展示程式碼和淺色主題

回覆關於一隻貓的問題

乳膠支持！

另一個標誌響應

這是什麼？ ChatGPT 風格的 UI，適合本地運行 Ollama（將其視為離線聊天 GPT 伺服器）的小眾群體。支援發送和接收圖像和文字！透過 PWA（漸進式 Web 應用程式）標準離線工作（它還沒有消亡！）

為什麼要這樣做？我對LLM UI感興趣已經有一段時間了，這似乎是一個很好的入門應用程式。透過這個項目，我也了解了很多現代技術，這很有趣！

為什麼這麼多流行詞？我忍不住要酷起來？

技術堆疊（謝謝）：

邏輯助手：

• 反應
• 打字稿
• 洛達什
• 佐德
• 莫布克斯
• Mobx 狀態樹（非常適合快速啟動項目，但不適合長期維護）
• Langchain.js

使用者介面助手：

• 順風 CSS
• 黛西使用者介面
• 下一個介面
• 高亮.js
• 反應降價
• 千巴
• 另一個 React 燈箱
• 將語音響應文本

項目設定助手：

• 維特
• Vite PWA 插件
• Vite 外掛網頁擴充

靈感： ollama-ui 的項目。允許用戶透過網路應用程式連接到 ollama

Perplexity.ai Perplexity 在 LLM UI 領域有一些驚人的 UI 進步，我對此非常感興趣。希望這個入門專案能讓我更接近做類似的事情！

開始本地開發

（請注意 json 套件中的最低引擎要求）

克隆項目，並在根目錄中運行yarn

yarn dev啟動本機實例並在 https:// 下開啟瀏覽器標籤（出於 PWA 原因）

管理資訊中心

• 在這個應用程式上嘗試使用 LangChain.js，但不幸的是它沒有正確設定以停止傳入流，我希望這個問題在將來得到修復，或者如果可能的話可以使用自定義 LLM 代理來使用 LangChain

  • 編輯：Langchain 正在運行並已添加到應用程式中！

• 最初我使用了 create-react-app ？在製作這個專案而不知道它不再維護的情況下，我現在正在使用Vite。 ？這已經允許我使用像ollama-js這樣我以前無法使用的函式庫。很快就會使用 langchain 進行更多測試

• 本自述文件是使用 https://stackedit.io/app 編寫的

• 對主分支的變更會觸發立即部署到 https://mrdjohnson.github.io/llm-x/