llm x

Máster en Derecho X

Extensión de Chrome | Aplicación web/móvil

Declaración de privacidad:

LLM X no realiza ninguna llamada a API externa. (Continúe, verifique la pestaña de su red y consulte la sección Recuperar). Tus chats y generación de imágenes son 100% privados. Este sitio/aplicación funciona completamente sin conexión.

Asuntos:

LLM X (aplicación web) no se conectará a un servidor que no sea seguro. Esto significa que puede usar LLM X en localhost (considerado un contexto seguro), pero si intenta usar llm-x en una red, el servidor debe ser https o, de lo contrario, no funcionará.

Adiciones recientes:

• ¡Soporte multimodelo! Los chats ahora admiten múltiples modelos, desde cualquier servidor conectado, y pueden responder con cada uno de ellos al mismo tiempo.
• ¡Eliminación rápida! Usando el panel de búsqueda rápida/kbar, es muy fácil eliminar todos los datos relacionados con la aplicación
• ¡Soporte de extensión de Chrome! Todas las funciones de la aplicación web, integradas en el navegador.
• ¡Soporte de Géminis Nano!
• ¡Soporte de IndexedDB! Todo el texto ahora se guarda en IndexedDB en lugar del almacenamiento local.
• Conexión automática bajo carga. Si hay un servidor visible y listo para conectarse, nos conectamos a él por usted.

Cómo utilizar:

Requisitos previos para la solicitud

• Ollama: Descargar e instalar Ollama
  • Baje un modelo (o algunos) de la biblioteca. Ej.: ollama pull llava (o use la aplicación)
• LM Studio: Descargue e instale LM Studio
• AUTOMATIC1111: clon de Git AUTOMATIC1111 (para generación de imágenes)
• Gemini Nano: Descargue e instale Chrome Canary
  • Habilite el modelo en el dispositivo seleccionando BypassPerfRequirement
  • Habilitar Api Gemini para nano
  • Reinicie Chrome (es posible que deba esperar a que se descargue)

Cómo utilizar el cliente web (sin instalación):

Requisitos previos para el cliente web

• Opciones de Ollama:
  • Utilice las preguntas frecuentes de Ollama para configurar OLLAMA_ORIGINS = https://mrdjohnson.github.io
  • Ejecute esto en su terminal OLLAMA_ORIGINS=https://mrdjohnson.github.io ollama serve
    • (Usuarios de Powershell: $env:OLLAMA_ORIGINS="https://mrdjohnson.github.io"; ollama serve )
• Estudio LM:
  • Ejecute esto en su terminal: lms server start --cors=true
• A1111:
  • Ejecute esto en la carpeta del proyecto a1111: ./webui.sh --api --listen --cors-allow-origins "*"
• Gemini Nano: funciona automáticamente

---

• Utilice su navegador para ir a LLM-X
• ¡Desconéctate! (opcional)
• ¡Empieza a chatear!

Requisitos previos para la extensión de Chrome

• Descargue e instale la extensión de Chrome
• Idealmente, esto funciona desde el primer momento, ¡no se necesita nada especial para conectarlo! Si no, continúe con los pasos a continuación:
• Opciones de Ollama:
  • Utilice las preguntas frecuentes de Ollama para configurar OLLAMA_ORIGINS = chrome-extension://iodcdhcpahifeligoegcmcdibdkffclk
  • Ejecute esto en su terminal OLLAMA_ORIGINS=chrome-extension://iodcdhcpahifeligoegcmcdibdkffclk ollama serve
    • (Usuarios de Powershell: $env:OLLAMA_ORIGINS="chrome-extension://iodcdhcpahifeligoegcmcdibdkffclk"; ollama serve )
• Estudio LM:
  • Ejecute esto en su terminal: lms server start --cors=true
• A1111:
  • Ejecute esto en la carpeta del proyecto a1111: ./webui.sh --api --listen --cors-allow-origins "*"

Cómo utilizar sin conexión:

• Siga las instrucciones de "Cómo utilizar el cliente web"
• En la barra de búsqueda de su navegador, debería haber un botón de descarga/instalación, presiónelo.
• ¡Desconéctate! (opcional)
• ¡Empieza a chatear!

Cómo utilizar desde la fuente del proyecto:

Requisitos previos para el origen del proyecto

• Ollama: Ejecuta esto en tu terminal ollama serve
• LM Studio: Ejecute esto en su terminal: lms server start
• A1111: ejecute esto en la carpeta del proyecto a1111: ./webui.sh --api --listen

---

Modo de vista previa de Vite

• Derriba este proyecto; yarn install , yarn preview
• ¡Desconéctate! (opcional)
• ¡Empieza a chatear!

Estibador

• Ejecute esto en su terminal: docker compose up -d
• Abra http://localhost:3030
• ¡Desconéctate! (opcional)
• ¡Empieza a chatear!

Extensión de Chrome

• Derriba este proyecto; yarn chrome:build
• Navega a chrome://extensions/
• Cargue descomprimido (opción de modo desarrollador) desde la ruta: llm-x/extensions/chrome/dist

Objetivos / Características

• COMPLETAMENTE PRIVADO; FUNCIONA COMPLETAMENTE SIN CONEXIÓN
• ¡Integración Ollama!
• ¡Integración de LM Studio!
• ¡Integración abierta del servidor AI!
• ¡Integración Gemini Nano!
• ¡Integración AUTOMATIC1111!
• Generación de texto a imagen a través de AUTOMATIC1111
• Imagen a texto usando las capacidades multimodales de Ollama
• Resaltado de código con Highlight.js (por ahora solo maneja idiomas comunes)
• La barra de búsqueda/comando proporciona acceso rápido a las funciones de la aplicación a través de kbar
• Soporte de látex
• ¡Permita que los usuarios tengan tantas conexiones como quieran!
• Historial de chat guardado automáticamente
• Administrar múltiples chats
• Copiar/Editar/Eliminar mensajes enviados o recibidos
• Reescribir el mensaje del usuario (activando la actualización de la respuesta)
• Personalización del mensaje del sistema a través de la función "Personas"
• Cambio de tema a través de DaisyUI
• Imagen de chat Vistas previas modales a través de otra caja de luz de reacción
• Importar/Exportar chat(s)
• ¡Implementación continua! La fusión con la rama maestra activa la creación/implementación automática de una nueva página de github

Capturas de pantalla:

Mostrando el modo de extensión de Chrome con Gemini Nano en el dispositivo de Google

Mostrando el modo de extensión de Chrome con llama3.2-vision de Ollama

Mostrando capacidad para ejecutar ollama y LM Studio al mismo tiempo

Conversación sobre logotipo

¡Ejemplo de generación de imágenes!

Mostrando omnibar y código

Mostrando código y tema ligero

Respondiendo sobre un gato

¡Soporte de látex!

Otra respuesta del logo

¿Qué es esto? Interfaz de usuario estilo ChatGPT para el grupo especializado de personas que ejecutan Ollama (piense en esto como un servidor gpt de chat sin conexión) localmente. ¡Admite enviar y recibir imágenes y texto! FUNCIONA SIN CONEXIÓN a través de los estándares PWA (Progressive Web App) (¡no está muerto!)

¿Por qué hacer esto? He estado interesado en LLM UI desde hace algún tiempo y me pareció una buena aplicación de introducción. También conocí muchas tecnologías modernas gracias a este proyecto, ¡ha sido divertido!

¿Por qué tantas palabras de moda? ¿No pude evitar ser genial?

Pila de tecnología (gracias):

Ayudantes lógicos:

• Reaccionar
• Mecanografiado
• Lodash
• Zod
• mobx
• Árbol de estado de Mobx (excelente para iniciar rápidamente un proyecto, terrible para el mantenimiento a largo plazo)
• Langchain.js

Ayudantes de la interfaz de usuario:

• CSS viento de cola
• margaritaui
• Siguiente UI
• Resaltar.js
• Reaccionar descuento
• kbar
• Otra caja de luz de reacción más
• Reaccionar voz a texto

Ayudantes de configuración del proyecto:

• vite
• Complemento Vite PWA
• Extensión web del complemento Vite

Inspiración: el proyecto de ollama-ui. Que permite a los usuarios conectarse a ollama a través de una aplicación web.

Perplexity.ai Perplexity tiene algunos avances sorprendentes en la interfaz de usuario en el espacio de la interfaz de usuario de LLM y he estado muy interesado en llegar a ese punto. ¡Ojalá este proyecto inicial me permita acercarme a hacer algo similar!

Comenzando con el desarrollo local

(tenga en cuenta los requisitos mínimos del motor en el paquete json)

Clona el proyecto y ejecuta yarn en el directorio raíz.

yarn dev inicia una instancia local y abre una pestaña del navegador en https:// (por motivos de PWA)

MISC

• Se intentó utilizar LangChain.js mientras se activaba esta aplicación, pero desafortunadamente no se configuró correctamente para detener las transmisiones entrantes. Espero que esto se solucione más adelante en el futuro O, si es posible, se puede utilizar un agente LLM personalizado para usar LangChain.

  • Editar: ¡Langchain está funcionando y agregado a la aplicación ahora!

• ¿Originalmente usé create-react-app? Mientras hago este proyecto sin saber que ya no se mantiene, ahora estoy usando Vite. ? Esto ya me permite usar bibliotecas como ollama-js que no podía usar antes. Probaremos más con langchain muy pronto

• Este archivo Léame fue escrito con https://stackedit.io/app

• Los cambios en la rama principal desencadenan una implementación inmediata en https://mrdjohnson.github.io/llm-x/