llm x

Llm x

Extensão do Chrome | Aplicativo web/móvel

Declaração de privacidade:

LLM X não faz chamadas de API externas. (Vá em frente, verifique sua guia de rede e consulte a seção Fetch). Seus bate -papos e gerações de imagem são 100% privados. Este site / aplicativo funciona completamente offline.

Problemas:

LLM X (aplicativo da Web) não se conectará a um servidor que não é seguro. Isso significa que você pode usar o LLM X no localhost (considerado um contexto seguro), mas se você estiver tentando usar o LLM-X em uma rede, o servidor precisa ser do HTTPS ou não funcionará.

Adições recentes:

• Suporte de vários modelos! Os bate -papos agora suportam vários modelos, de qualquer servidor conectado, e podem responder com cada um deles ao mesmo tempo
• Excluir rápido! Usando o painel de pesquisa rápida/ kbar, é super fácil excluir todos os dados relacionados ao aplicativo
• Suporte de extensão do Chrome! Todos os recursos do aplicativo da web, embutidos no navegador
• Suporte de Nano Gêmeos!
• Suporte indexedDB! Todo o texto agora está salvo no indexedDB em vez de armazenamento local
• Conecte automático na carga. Se houver um servidor que seja visível e pronto para conectar, nos conectamos a ele para você

Como usar:

Pré -requisitos para aplicação

• Ollama: baixe e instale o ollama
  • Puxe um modelo (ou alguns) da biblioteca ex: ollama pull llava (ou use o aplicativo)
• LM Studio: Baixe e instale o LM Studio
• Automatic1111: Git Clone Automatic1111 (para geração de imagens)
• Gêmeos Nano: Faça o download e instale o Chrome Canary
  • Ativar o modelo de dispositivo selecionando BypassPerfRequirement
  • Ativar API Gemini para Nano
  • Relançar o Chrome (pode precisar esperar para fazer o download)

Como usar o Web Client (sem instalação):

Pré -requisitos para Web Client

• Opções Ollama:
  • Use as perguntas frequentes de Ollama para definir OLLAMA_ORIGINS = https://mrdjohnson.github.io
  • Execute isso em seu terminal OLLAMA_ORIGINS=https://mrdjohnson.github.io ollama serve
    • (Usuários do PowerShell: $env:OLLAMA_ORIGINS="https://mrdjohnson.github.io"; ollama serve )
• LM Studio:
  • Execute isso no seu terminal: lms server start --cors=true
• A1111:
  • Execute isso na pasta do projeto A1111: ./webui.sh --api --listen --cors-allow-origins "*"
• Gêmeos Nano: funciona automaticamente

---

• Use seu navegador para ir para LLM-X
• Fique offline! (opcional)
• Comece a conversar!

Pré -requisitos para a extensão do Chrome

• Baixe e instale a extensão do Chrome
• Idealmente, isso funciona fora da caixa, não é necessário que nada de especial para conectá -la! Se não continuar com as etapas abaixo:
• Opções Ollama:
  • Use as perguntas frequentes de Ollama para definir OLLAMA_ORIGINS = chrome-extension://iodcdhcpahifeligoegcmcdibdkffclk
  • Execute isso em seu terminal OLLAMA_ORIGINS=chrome-extension://iodcdhcpahifeligoegcmcdibdkffclk ollama serve
    • (Usuários do PowerShell: $env:OLLAMA_ORIGINS="chrome-extension://iodcdhcpahifeligoegcmcdibdkffclk"; ollama serve )
• LM Studio:
  • Execute isso no seu terminal: lms server start --cors=true
• A1111:
  • Execute isso na pasta do projeto A1111: ./webui.sh --api --listen --cors-allow-origins "*"

Como usar offline:

• Siga as instruções para "Como usar o Web Client"
• Na barra de pesquisa do navegador, deve haver um botão de download/instalação, pressione isso.
• Fique offline! (opcional)
• Comece a conversar!

Como usar da fonte do projeto:

Pré -requisitos para fonte do projeto

• Ollama: Execute isso em seu terminal ollama serve
• LM Studio: Execute isso no seu terminal: lms server start
• A1111: Execute isso na pasta do projeto A1111: ./webui.sh --api --listen

---

Modo de visualização de vite

• Puxe este projeto; yarn install , yarn preview
• Fique offline! (opcional)
• Comece a conversar!

Docker

• Execute isso em seu terminal: docker compose up -d
• Aberto http: // localhost: 3030
• Fique offline! (opcional)
• Comece a conversar!

Extensão do Chrome

• Puxe este projeto; yarn chrome:build
• Navegue até chrome://extensions/
• Carregar desconhecido (opção de modo desenvolvedor) do caminho: llm-x/extensions/chrome/dist

Metas / recursos

• Completamente privado; Funciona completamente offline
• Integração Ollama!
• Integração do LM Studio!
• Abra a integração do servidor AI!
• Integração de Nano Gêmeos!
• Automatic1111 Integração!
• Texto para geração de imagens através do Automatic1111
• Imagem para texto usando as habilidades multi -modais de Ollama
• Código destacando com Highlight.js (apenas lida com idiomas comuns por enquanto)
• A barra de pesquisa/comando fornece acesso rápido aos recursos do aplicativo através do KBAR
• Suporte de látex
• Permita que os usuários tenham quantas conexões quiserem!
• Histórico de bate -papo salvo automático
• Gerencie vários bate -papos
• Copiar/editar/excluir mensagens enviadas ou recebidas
• Reescreva a mensagem do usuário (acionando a atualização da resposta)
• Personalização imediata do sistema através do recurso "Personas"
• Tema mudando através de Daisyui
• Visualizações modais de imagem de bate -papo através de mais uma caixa de luz React
• Importar / exportar bate -papo (s)
• Implantação contínua! A fusão para a filial principal desencadeia uma nova página do GitHub, criação/implantação automaticamente

Capturas de tela:

Mostrando o modo de extensão do Chrome com o Nano de Gêmeos no Device do Google

Mostrando o modo de extensão do Chrome com a LLAMA3.2-VISÃO DE OLLAMA

Mostrando capacidade de executar o Ollama e LM Studio ao mesmo tempo

Conversa sobre logotipo

Exemplo de geração de imagens!

Mostrando omnibar e código

Mostrando o código e o tema leve

Respondendo sobre um gato

Suporte de látex!

Outra resposta do logotipo

O que é isso? A interface do usuário do Chatgpt Style para o grupo de nicho de pessoas que administra o Ollama (pense nisso como um servidor GPT de bate -papo offline) localmente. Suporta enviar e receber imagens e texto! Funciona offline através dos padrões da PWA (Progressive Web App) (não está morto!)

Por que fazer isso? Estou interessado em LLM UI há algum tempo e isso parecia um bom aplicativo de introdução. Fui apresentado a muitas tecnologias modernas graças a este projeto também, foi divertido!

Por que tantas palavras de burburinho? Eu não pude deixar de ser legal?

Pilha de tecnologia (obrigado):

Ajudantes lógicos:

• Reagir
• TypeScript
• Lodash
• Zod
• Mobx
• Árvore do Estado Mobx (Ótimo para iniciar um projeto rápido, terrível para manutenção a longo prazo)
• Langchain.js

Ajudantes da interface do usuário:

• Tailwind CSS
• Daisyui
• Nextui
• Destaque.js
• Reaja a marcação
• KBAR
• Ainda outra caixa de luz react
• Reaja discurso ao texto

Ajudadores de configuração do projeto:

• Vite
• Vite Pwa Plugin
• Extensão da web do plug -in de vite

Inspiração: o projeto de Ollama-Ui. Que permite que os usuários se conectem a Ollama por meio de um aplicativo da web

Perplexity.ai A Perplexity tem alguns avanços incríveis na interface do usuário no espaço da interface do usuário LLM e estou muito interessado em chegar a esse ponto. Esperançosamente, este projeto inicial me permite me aproximar de fazer algo semelhante!

Introdução ao desenvolvimento local

(Observe os requisitos mínimos do motor no pacote JSON)

Clone o projeto e execute yarn no diretório raiz

yarn dev inicia uma instância local e abre uma guia do navegador sob https: // (por motivos de PWA)

Misc

• Langchain.js foi tentado enquanto bateu nesse aplicativo, mas infelizmente não foi configurado corretamente para interromper os fluxos de entrada, espero que isso seja consertado mais tarde no futuro ou, se possível

  • Edit: Langchain está funcionando e adicionado ao aplicativo agora!

• Originalmente, usei Create-React-App? Ao fazer esse projeto sem saber que não é mais mantido, agora estou usando o Vite. ? Isso já me permite usar bibliotecas como ollama-js que eu não podia usar antes. Estará testando mais com Langchain muito em breve

• Este readme foi escrito com https://stackedit.io/app

• Alterações no ramo principal desencadeiam uma implantação imediata para https://mrdjohnson.github.io/llm-x/