llm x Télécharger - llm x Téléchargement du code source

mdr x

Code Source AI

1.0.0

Télécharger

LLM X

Extension Chrome | Application Web/Mobile

Déclaration de confidentialité :

LLM X n'effectue aucun appel d'API externe. (allez-y, vérifiez votre onglet réseau et consultez la section Récupérer). Vos discussions et générations d'images sont 100% privées. Ce site/application fonctionne complètement hors ligne.

Problèmes:

LLM X (application Web) ne se connectera pas à un serveur non sécurisé. Cela signifie que vous pouvez utiliser LLM X sur localhost (considéré comme un contexte sécurisé), mais si vous essayez d'utiliser llm-x sur un réseau, le serveur doit provenir de https, sinon cela ne fonctionnera pas.

Ajouts récents :

Prise en charge multimodèle ! Les chats prennent désormais en charge plusieurs modèles, à partir de n'importe quel serveur connecté, et peuvent répondre avec chacun d'eux en même temps.
Suppression rapide ! en utilisant le panneau de recherche rapide/kbar, il est très facile de supprimer toutes les données liées à l'application
Prise en charge des extensions Chrome ! Toutes les fonctionnalités de l'application web, intégrées au navigateur
Prise en charge de Gemini Nano !
Prise en charge de la base de données indexée ! Tout le texte est désormais enregistré dans IndexedDB au lieu du stockage local
Connexion automatique en charge. S'il existe un serveur visible et prêt à se connecter, nous nous y connectons pour vous

Comment utiliser :

Conditions préalables à la candidature

Ollama : Téléchargez et installez Ollama
- Déroulez un modèle (ou quelques-uns) de la bibliothèque Ex : ollama pull llava (ou utilisez l'application)
LM Studio : Téléchargez et installez LM Studio
AUTOMATIC1111 : Git clone AUTOMATIC1111 (pour la génération d'images)
Gemini Nano : Téléchargez et installez Chrome Canary
- Activez le modèle sur l'appareil en sélectionnant BypassPerfRequirement
- Activer Api Gemini pour nano
- Relancez Chrome (il faudra peut-être attendre qu'il soit téléchargé)

Comment utiliser le client Web (pas d'installation) :

Conditions préalables pour le client Web

Options Ollama :
- Utilisez la FAQ d'Ollama pour définir OLLAMA_ORIGINS = https://mrdjohnson.github.io
- Exécutez ceci dans votre terminal OLLAMA_ORIGINS=https://mrdjohnson.github.io ollama serve
  - (Utilisateurs Powershell : $env:OLLAMA_ORIGINS="https://mrdjohnson.github.io"; ollama serve )
Studio LM :
- Exécutez ceci dans votre terminal : lms server start --cors=true
A1111 :
- Exécutez ceci dans le dossier du projet a1111 : ./webui.sh --api --listen --cors-allow-origins "*"
Gemini Nano : fonctionne automatiquement

Utilisez votre navigateur pour accéder à LLM-X
Mettez-vous hors ligne ! (facultatif)
Commencez à discuter !

Conditions préalables à l'extension Chrome

Téléchargez et installez l'extension Chrome
Idéalement, cela fonctionne immédiatement, rien de spécial n'est nécessaire pour le connecter ! Si ce n'est pas le cas, continuez avec les étapes ci-dessous :
Options Ollama :
- Utilisez la FAQ d'Ollama pour définir OLLAMA_ORIGINS = chrome-extension://iodcdhcpahifeligoegcmcdibdkffclk
- Exécutez ceci dans votre terminal OLLAMA_ORIGINS=chrome-extension://iodcdhcpahifeligoegcmcdibdkffclk ollama serve
  - (Utilisateurs Powershell : $env:OLLAMA_ORIGINS="chrome-extension://iodcdhcpahifeligoegcmcdibdkffclk"; ollama serve )
Studio LM :
- Exécutez ceci dans votre terminal : lms server start --cors=true
A1111 :
- Exécutez ceci dans le dossier du projet a1111 : ./webui.sh --api --listen --cors-allow-origins "*"

Comment utiliser hors ligne :

Suivez les instructions pour "Comment utiliser le client Web"
Dans la barre de recherche de votre navigateur, il devrait y avoir un bouton de téléchargement/installation, appuyez dessus.
Mettez-vous hors ligne ! (facultatif)
Commencez à discuter !

Comment utiliser à partir de la source du projet :

Conditions préalables pour la source du projet

Ollama : Exécutez ceci dans votre ollama serve de terminal
LM Studio : Exécutez ceci dans votre terminal : lms server start
A1111 : exécutez ceci dans le dossier du projet a1111 : ./webui.sh --api --listen

Mode aperçu Vite

Déroulez ce projet ; yarn install , yarn preview
Mettez-vous hors ligne ! (facultatif)
Commencez à discuter !

Docker

Exécutez ceci dans votre terminal : docker compose up -d
Ouvrez http://localhost:3030
Mettez-vous hors ligne ! (facultatif)
Commencez à discuter !

Extension Chrome

Déroulez ce projet ; yarn chrome:build
Accédez à chrome://extensions/
Charger le fichier décompressé (option du mode développeur) à partir du chemin : llm-x/extensions/chrome/dist

Objectifs/Caractéristiques

Captures d'écran :

Affichage du mode d'extension Chrome avec Gemini Nano sur l'appareil de Google

Affichage du mode d'extension Chrome avec la vision lama3.2 d'Ollama

Capacité à exécuter ollama et LM Studio en même temps

Conversation sur le logo

Exemple de génération d'images !

Montrer omnibar et le code

Montrer le code et le thème lumineux

Répondre à propos d'un chat

Prise en charge de Latex !

Une autre réponse du logo

Qu'est-ce que c'est? Interface utilisateur de style ChatGPT pour le groupe de niche de personnes qui exécutent Ollama (pensez à cela comme à un serveur gpt de chat hors ligne) localement. Prend en charge l'envoi et la réception d'images et de texte ! FONCTIONNE HORS LIGNE grâce aux normes PWA (Progressive Web App) (ce n'est pas mort !)

Pourquoi faire ça ? Je m'intéresse à l'interface utilisateur LLM depuis un certain temps maintenant et cela semble être une bonne application d'introduction. J'ai également découvert beaucoup de technologies modernes grâce à ce projet, c'était amusant !

Pourquoi tant de mots à la mode ? Je n'ai pas pu m'empêcher d'être cool ?

Tech Stack (merci) :

Aides logiques :

Réagir
Manuscrit
Lodash
Zod
Mobx
~~Arbre d'état Mobx~~ (idéal pour démarrer rapidement un projet, terrible pour une maintenance à long terme)
Langchain.js

Aides à l'interface utilisateur :

CSS vent arrière
DaisyUI
SuivantUI
Highlight.js
Réagir à la démarque
kbar
Encore une autre Lightbox React
Réagir à la parole par rapport au texte

Aides au montage de projet :

Vite
Plugin Vite PWA
Extension Web du plug-in Vite

Inspiration : le projet d'ollama-ui. Ce qui permet aux utilisateurs de se connecter à ollama via une application web

Perplexity.ai Perplexity propose des avancées étonnantes en matière d'interface utilisateur dans l'espace de l'interface utilisateur LLM et j'ai été très intéressé par en arriver là. J'espère que ce projet de démarrage me permettra de me rapprocher de quelque chose de similaire !

Se lancer dans le développement local

(veuillez noter la configuration minimale requise pour le moteur dans le package json)

Clonez le projet et exécutez yarn dans le répertoire racine

yarn dev démarre une instance locale et ouvre un onglet de navigateur sous https:// (pour des raisons PWA)

DIVERS

LangChain.js a été tenté lors du pic sur cette application, mais malheureusement, il n'a pas été configuré correctement pour arrêter les flux entrants. J'espère que cela sera corrigé plus tard dans le futur OU, si possible, un agent LLM personnalisé peut être utilisé afin d'utiliser LangChain.
- edit : Langchain fonctionne et est ajouté à l'application maintenant !
À l'origine, j'utilisais create-react-app ? en réalisant ce projet sans savoir qu'il n'est plus maintenu, j'utilise désormais Vite. ? Cela me permet déjà d'utiliser des bibliothèques comme ollama-js que je ne pouvais pas utiliser auparavant. Je testerai davantage avec langchain très bientôt
Ce fichier Lisez-moi a été écrit avec https://stackedit.io/app
Les modifications apportées à la branche principale déclenchent un déploiement immédiat sur https://mrdjohnson.github.io/llm-x/

Développer

Informations supplémentaires