llm x

LLM X

Chrome-Erweiterung | Web-/Mobile-App

Datenschutzerklärung:

LLM X führt keine externen API-Aufrufe durch. (Fahren Sie fort, überprüfen Sie die Registerkarte „Netzwerk“ und sehen Sie sich den Abschnitt „Abrufen“ an.) Ihre Chats und Bildgenerierungen sind 100 % privat. Diese Website/App funktioniert vollständig offline.

Probleme:

LLM X (Web-App) stellt keine Verbindung zu einem Server her, der nicht sicher ist. Das bedeutet, dass Sie LLM

Aktuelle Ergänzungen:

• Unterstützung mehrerer Modelle! Chats unterstützen jetzt mehrere Modelle von jedem verbundenen Server und können mit jedem gleichzeitig antworten
• Schnell löschen! Mit der Schnellsuche/kbar-Bedienfeld ist es ganz einfach, alle App-bezogenen Daten zu löschen
• Unterstützung für Chrome-Erweiterungen! Alle Funktionen der Web-App, integriert in den Browser
• Gemini Nano-Unterstützung!
• IndexedDB-Unterstützung! Der gesamte Text wird jetzt in IndexedDB statt im lokalen Speicher gespeichert
• Automatische Verbindung beim Laden. Wenn ein Server sichtbar und verbindungsbereit ist, stellen wir für Sie eine Verbindung her

Anwendung:

Voraussetzungen für die Bewerbung

• Ollama: Laden Sie Ollama herunter und installieren Sie es
  • Ziehen Sie ein Modell (oder mehrere) aus der Bibliothek herunter, z. B.: ollama pull llava (oder verwenden Sie die App).
• LM Studio: Laden Sie LM Studio herunter und installieren Sie es
• AUTOMATIC1111: Git-Klon AUTOMATIC1111 (zur Image-Generierung)
• Gemini Nano: Laden Sie Chrome Canary herunter und installieren Sie es
  • Aktivieren Sie „On Device Model“, indem Sie BypassPerfRequirement auswählen
  • Aktivieren Sie Api Gemini für Nano
  • Starten Sie Chrome neu (möglicherweise müssen Sie warten, bis es heruntergeladen ist).

So verwenden Sie den Webclient (keine Installation):

Voraussetzungen für den Webclient

• Ollama-Optionen:
  • Verwenden Sie Ollamas FAQ, um OLLAMA_ORIGINS = https://mrdjohnson.github.io festzulegen
  • Führen Sie dies in Ihrem Terminal aus: OLLAMA_ORIGINS=https://mrdjohnson.github.io ollama serve
    • (Powershell-Benutzer: $env:OLLAMA_ORIGINS="https://mrdjohnson.github.io"; ollama serve )
• LM Studio:
  • Führen Sie Folgendes in Ihrem Terminal aus: lms server start --cors=true
• A1111:
  • Führen Sie dies im a1111-Projektordner aus: ./webui.sh --api --listen --cors-allow-origins "*"
• Gemini Nano: Funktioniert automatisch

---

• Gehen Sie über Ihren Browser zu LLM-X
• Gehen Sie offline! (optional)
• Beginnen Sie mit dem Chatten!

Voraussetzungen für die Chrome-Erweiterung

• Laden Sie die Chrome-Erweiterung herunter und installieren Sie sie
• Im Idealfall funktioniert dies sofort, es sind keine besonderen Dinge erforderlich, um die Verbindung herzustellen! Wenn nicht, fahren Sie mit den folgenden Schritten fort:
• Ollama-Optionen:
  • Verwenden Sie Ollamas FAQ, um OLLAMA_ORIGINS = chrome-extension://iodcdhcpahifeligoegcmcdibdkffclk festzulegen
  • Führen Sie dies in Ihrem Terminal aus: OLLAMA_ORIGINS=chrome-extension://iodcdhcpahifeligoegcmcdibdkffclk ollama serve
    • (Powershell-Benutzer: $env:OLLAMA_ORIGINS="chrome-extension://iodcdhcpahifeligoegcmcdibdkffclk"; ollama serve )
• LM Studio:
  • Führen Sie Folgendes in Ihrem Terminal aus: lms server start --cors=true
• A1111:
  • Führen Sie dies im a1111-Projektordner aus: ./webui.sh --api --listen --cors-allow-origins "*"

So nutzen Sie es offline:

• Befolgen Sie die Anweisungen für „So verwenden Sie den Webclient“.
• In der Suchleiste Ihres Browsers sollte sich eine Schaltfläche zum Herunterladen/Installieren befinden. Klicken Sie darauf.
• Gehen Sie offline! (optional)
• Beginnen Sie mit dem Chatten!

So verwenden Sie die Projektquelle:

Voraussetzungen für die Projektquelle

• Ollama: Führen Sie dies in Ihrem Terminal- ollama serve aus
• LM Studio: Führen Sie dies in Ihrem Terminal aus: lms server start
• A1111: Führen Sie dies im a1111-Projektordner aus: ./webui.sh --api --listen

---

Vite-Vorschaumodus

• Ziehen Sie dieses Projekt herunter. yarn install , yarn preview
• Gehen Sie offline! (optional)
• Beginnen Sie mit dem Chatten!

Docker

• Führen Sie Folgendes in Ihrem Terminal aus: docker compose up -d
• Öffnen Sie http://localhost:3030
• Gehen Sie offline! (optional)
• Beginnen Sie mit dem Chatten!

Chrome-Erweiterung

• Ziehen Sie dieses Projekt herunter. yarn chrome:build
• Navigieren Sie zu chrome://extensions/
• Entpackt laden (Entwicklermodus-Option) aus dem Pfad: llm-x/extensions/chrome/dist

Ziele / Funktionen

• VÖLLIG PRIVAT; FUNKTIONIERT KOMPLETT OFFLINE
• Ollama-Integration!
• LM Studio-Integration!
• Offene AI-Server-Integration!
• Gemini Nano-Integration!
• AUTOMATIC1111-Integration!
• Text-zu-Bild-Generierung durch AUTOMATIC1111
• Bild zu Text mit Ollamas multimodalen Fähigkeiten
• Code-Hervorhebung mit Highlight.js (verarbeitet derzeit nur gängige Sprachen)
• Die Such-/Befehlsleiste bietet schnellen Zugriff auf App-Funktionen über kbar
• LaTex-Unterstützung
• Erlauben Sie Benutzern, so viele Verbindungen zu haben, wie sie möchten!
• Automatisch gespeicherter Chat-Verlauf
• Verwalten Sie mehrere Chats
• Gesendete oder empfangene Nachrichten kopieren/bearbeiten/löschen
• Benutzernachricht neu schreiben (Antwortaktualisierung auslösen)
• Anpassung der Systemaufforderung über die Funktion „Personas“.
• Themenwechsel über DaisyUI
• Modale Vorschau des Chat-Bildes über eine weitere React-Lightbox
• Chat(s) importieren/exportieren
• Kontinuierliche Bereitstellung! Durch die Zusammenführung mit dem Master-Zweig wird automatisch eine neue Github-Seite erstellt/bereitgestellt

Screenshots:

Zeigt den Chrome-Erweiterungsmodus mit Gemini Nano auf dem Gerät von Google

Zeigt den Chrome-Erweiterungsmodus mit Ollamas llama3.2-vision

Zeigt die Fähigkeit, ollama und LM Studio gleichzeitig auszuführen

Gespräch über Logo

Beispiel für die Bildgenerierung!

Omnibar und Code zur Schau stellen

Vorführen von Code und Lichtthema

Antwort auf eine Katze

LaTex-Unterstützung!

Eine weitere Logo-Antwort

Was ist das? Benutzeroberfläche im ChatGPT-Stil für die Nischengruppe von Leuten, die Ollama (stellen Sie sich das wie einen Offline-Chat-GPT-Server vor) lokal ausführen. Unterstützt das Senden und Empfangen von Bildern und Text! FUNKTIONIERT OFFLINE über PWA-Standards (Progressive Web App) (es ist nicht tot!)

Warum das tun? Ich interessiere mich schon seit einiger Zeit für die LLM-Benutzeroberfläche und dies schien mir eine gute Einstiegsanwendung zu sein. Dank dieses Projekts habe ich auch viele moderne Technologien kennengelernt, es hat Spaß gemacht!

Warum so viele Schlagworte? Ich konnte nicht anders, als cool zu sein?

Tech Stack (danke):

Logikhelfer:

• Reagieren
• Typoskript
• Lodash
• Zod
• Mobx
• Mobx-Staatsbaum (ideal für den schnellen Start eines Projekts, schrecklich für die langfristige Wartung)
• Langchain.js

UI-Helfer:

• Rückenwind-CSS
• DaisyUI
• NextUI
• Highlight.js
• Markdown reagieren
• kbar
• Noch eine React-Lightbox
• Reagieren Sie auf Sprache auf Text

Helfer bei der Projekteinrichtung:

• Vite
• Vite PWA-Plugin
• Vite Plugin-Weberweiterung

Inspiration: ollama-uis Projekt. Dadurch können Benutzer über eine Web-App eine Verbindung zu Ollama herstellen

Perplexity.ai Perplexity bietet einige erstaunliche UI-Fortschritte im LLM-UI-Bereich und ich war sehr daran interessiert, diesen Punkt zu erreichen. Hoffentlich bringt mich dieses Starterprojekt dazu, etwas Ähnliches näher zu bringen!

Erste Schritte mit der lokalen Entwicklung

(Bitte beachten Sie die Mindestanforderungen an die Engine im Paket json)

Klonen Sie das Projekt und führen Sie yarn im Stammverzeichnis aus

yarn dev startet eine lokale Instanz und öffnet einen Browser-Tab unter https:// (aus PWA-Gründen)

VERSCHIEDENES

• Beim Hochladen dieser App wurde versucht, LangChain.js zu verwenden, aber leider wurde es nicht richtig eingerichtet, um eingehende Streams zu stoppen. Ich hoffe, dass dies später in der Zukunft behoben wird ODER wenn möglich, kann ein benutzerdefinierter LLM-Agent verwendet werden, um LangChain zu verwenden

  • Bearbeiten: Langchain funktioniert und wurde jetzt zur App hinzugefügt!

• Ursprünglich habe ich „create-react-app“ verwendet? Während ich dieses Projekt erstellt habe, ohne zu wissen, dass es nicht mehr gepflegt wird, verwende ich jetzt Vite. ? Dadurch kann ich bereits Bibliotheken wie ollama-js verwenden, die ich vorher nicht verwenden konnte. Ich werde in Kürze weitere Tests mit Langchain durchführen

• Diese Readme-Datei wurde mit https://stackedit.io/app geschrieben

• Änderungen am Hauptzweig lösen eine sofortige Bereitstellung unter https://mrdjohnson.github.io/llm-x/ aus.