llmx

LLM X

Chrome 拡張機能 |ウェブ/モバイルアプリ

プライバシーに関する声明:

LLM X は外部 API 呼び出しを行いません。 (先に進んで、ネットワークタブを確認し、「フェッチ」セクションを参照してください)。チャットと画像生成は 100% プライベートです。このサイト/アプリは完全にオフラインで動作します。

問題：

LLM X (Web アプリ) は、安全でないサーバーには接続しません。これは、ローカルホスト (安全なコンテキストとみなされる) で LLM X を使用できることを意味しますが、ネットワーク上で llm-x を使用しようとしている場合、サーバーは https からのものである必要があり、そうしないと機能しません。

最近の追加:

• 多機種対応！チャットは、接続されているサーバーから複数のモデルをサポートし、それぞれのモデルに同時に応答できるようになりました。
• 早速削除！クイック検索/kbarパネルを使用すると、すべてのアプリ関連データを非常に簡単に削除できます
• Chrome拡張機能対応！ Web アプリのすべての機能がブラウザに組み込まれています
• ジェミニナノサポート！
• IndexedDB サポート!すべてのテキストがローカル ストレージではなく IndexedDB に保存されるようになりました。
• 負荷時に自動接続します。表示され、接続の準備ができているサーバーがある場合は、それに接続します。

使用方法:

申請の前提条件

• オラマ: オラマをダウンロードしてインストールします
  • ライブラリからモデル (またはいくつか) をプルダウンします。例: ollama pull llava (またはアプリを使用)
• LM Studio: LM Studioをダウンロードしてインストールします。
• AUTOMATIC1111: Git クローン AUTOMATIC1111 (イメージ生成用)
• Gemini Nano: Chrome Canary をダウンロードしてインストールします
  • BypassPerfRequirement選択してオンデバイス モデルを有効にします
  • nano 用に API Gemini を有効にする
  • Chrome を再起動します (ダウンロードするまで待つ必要がある場合があります)

Web クライアントの使用方法 (インストールなし):

Web クライアントの前提条件

• オラマのオプション:
  • Ollama の FAQ を使用して、 OLLAMA_ORIGINS = https://mrdjohnson.github.ioを設定します。
  • これをターミナルで実行します。 OLLAMA_ORIGINS=https://mrdjohnson.github.io ollama serve
    • (Powershell ユーザー: $env:OLLAMA_ORIGINS="https://mrdjohnson.github.io"; ollama serve )
• LMスタジオ:
  • ターミナルでこれを実行します: lms server start --cors=true
• A1111:
  • a1111 プロジェクト フォルダーでこれを実行します: ./webui.sh --api --listen --cors-allow-origins "*"
• Gemini Nano: 自動的に動作します

---

• ブラウザを使用して LLM-X にアクセスします
• オフラインにしましょう！ (オプション)
• チャットを始めましょう！

Chrome 拡張機能の前提条件

• Chrome 拡張機能をダウンロードしてインストールします
• 理想的には、これは箱から出してすぐに機能し、接続するために特別なものは必要ありません。そうでない場合は、次の手順に進みます。
• オラマのオプション:
  • Ollama の FAQ を使用して、 OLLAMA_ORIGINS = chrome-extension://iodcdhcpahifeligoegcmcdibdkffclkを設定します。
  • これを端末で実行します。 OLLAMA_ORIGINS=chrome-extension://iodcdhcpahifeligoegcmcdibdkffclk ollama serve
    • (Powershell ユーザー: $env:OLLAMA_ORIGINS="chrome-extension://iodcdhcpahifeligoegcmcdibdkffclk"; ollama serve )
• LMスタジオ:
  • ターミナルでこれを実行します: lms server start --cors=true
• A1111:
  • a1111 プロジェクト フォルダーでこれを実行します: ./webui.sh --api --listen --cors-allow-origins "*"

オフラインでの使用方法:

• 「Web クライアントの使用方法」の指示に従ってください。
• ブラウザの検索バーにダウンロード/インストール ボタンがあるはずなので、それを押します。
• オフラインにしましょう！ (オプション)
• チャットを始めましょう！

プロジェクトソースから使用する方法:

プロジェクトソースの前提条件

• Ollama: これをターミナルで実行してollama serve
• LM Studio: ターミナルでこれを実行します: lms server start
• A1111: a1111 プロジェクト フォルダーでこれを実行します: ./webui.sh --api --listen

---

Vite プレビュー モード

• このプロジェクトをプルダウンします。 yarn install 、 yarn preview
• オフラインにしましょう！ (オプション)
• チャットを始めましょう！

ドッカー

• ターミナルでこれを実行します: docker compose up -d
• http://localhost:3030 を開きます
• オフラインにしましょう！ (オプション)
• チャットを始めましょう！

Chrome拡張機能

• このプロジェクトをプルダウンします。 yarn chrome:build
• chrome://extensions/に移動します
• パス: llm-x/extensions/chrome/distから解凍された状態でロードします (開発者モード オプション)。

目的・特徴

• 完全にプライベート。完全にオフラインで動作します
• オラマ統合！
• LMスタジオの統合！
• オープンAIサーバー統合！
• ジェミニナノ統合！
• AUTOMATIC1111統合！
• AUTOMATIC1111 によるテキストから画像への生成
• Ollama のマルチモーダル機能を使用した画像からテキストへの変換
• Highlight.js を使用したコードの強調表示(現時点では共通言語のみを処理します)
• 検索/コマンド バーにより、 kbar を介してアプリの機能にすばやくアクセスできます
• LaTex のサポート
• ユーザーが必要なだけ接続できるようにします。
• 自動保存されるチャット履歴
• 複数のチャットを管理する
• 送受信したメッセージのコピー/編集/削除
• ユーザーメッセージを書き換える（応答リフレッシュをトリガー）
• 「ペルソナ」機能によるシステムプロンプトのカスタマイズ
• DaisyUIによるテーマ変更
• チャット画像 さらに別の反応ライトボックスによるモーダル プレビュー
• チャットのインポート/エクスポート
• 継続的な展開！ master ブランチにマージすると、新しい Github ページのビルド/デプロイが自動的にトリガーされます

スクリーンショット:

Google のオンデバイス Gemini Nano で Chrome 拡張モードを表示する

Ollama の llama3.2-vision を使用した Chrome 拡張モードの表示

ollama と LM Studio を同時に実行できることを示す

ロゴについての会話

画像生成例！

オムニバーとコードを披露する

コードとライトのテーマを披露する

猫についてのお返事

ラテックスサポート！

別のロゴの応答

これは何ですか？ Ollama (オフライン チャット gpt サーバーのようなものだと考えてください) をローカルで実行するニッチなグループ向けの ChatGPT スタイル UI。画像やテキストの送受信に対応！ PWA (Progressive Web App) 標準によりオフラインでも動作します(死んだわけではありません!)

なぜこれを行うのでしょうか?私はしばらくの間LLM UIに興味を持っており、これは良い入門アプリケーションだと思いました。私もこのプロジェクトのおかげで多くの最新テクノロジーを知ることができました、とても楽しかったです!

なぜこれほど流行語が多いのでしょうか？思わずクールになってしまいました?

技術スタック (感謝):

ロジックヘルパー:

• 反応する
• タイプスクリプト
• ロダッシュ
• ゾッド
• モブエックス
• Mobx 状態ツリー(プロジェクトを迅速に開始する場合には最適ですが、長期的なメンテナンスには適していません)
• ラングチェーン.js

UI ヘルパー:

• 追い風CSS
• デイジーUI
• NextUI
• ハイライト.js
• マークダウンに反応する
• クバール
• さらに別の React ライトボックス
• 音声をテキストに反応させる

プロジェクトセットアップヘルパー:

• ヴィーテ
• Vite PWA プラグイン
• Vite プラグイン Web 拡張機能

インスピレーション: ollama-ui のプロジェクト。これにより、ユーザーは Web アプリ経由で ollam に接続できるようになります。

Perplexity.ai Perplexity は、LLM UI 空間において驚くべき UI の進歩をもたらしており、私はその点に到達することに非常に興味を持っていました。このスターター プロジェクトをきっかけに、同様のことに近づければ幸いです。

ローカル開発を始める

(パッケージ json の最小エンジン要件に注意してください)

プロジェクトのクローンを作成し、ルート ディレクトリでyarnを実行します

yarn devローカル インスタンスを起動し、https:// でブラウザ タブを開きます (PWA の理由のため)

その他

• このアプリでスパイク中に LangChain.js が試行されましたが、残念ながら受信ストリームを停止するように正しく設定されていませんでした。将来的にこれが修正されることを願っています。または、可能であればカスタム LLM エージェントを利用して LangChain を使用できるようにしてください。

  • 編集: Langchain が動作し、アプリに追加されました。

• もともと私はcreate-react-appを使用していましたか？メンテナンスが終了していることを知らずにこのプロジェクトを作成している間、私は今 Vite を使用しています。 ?これにより、以前は使用できなかったollama-jsなどのライブラリを使用できるようになりました。近いうちに langchain を使ってさらにテストする予定です

• この Readme は https://stackedit.io/app で書かれています

• メイン ブランチに変更を加えると、https://mrdjohnson.github.io/llm-x/ への即時デプロイがトリガーされます。