llm x

LLMX

Extensão do Chrome | Aplicativo web/móvel

Declaração de privacidade:

O LLM X não faz nenhuma chamada de API externa. (vá em frente, verifique sua guia de rede e veja a seção Buscar). Seus bate-papos e gerações de imagens são 100% privados. Este site/aplicativo funciona totalmente offline.

Problemas:

LLM X (aplicativo web) não se conectará a um servidor que não seja seguro. Isso significa que você pode usar o LLM X em localhost (considerado um contexto seguro), mas se estiver tentando usar o llm-x em uma rede, o servidor precisa ser https ou não funcionará.

Adições recentes:

• Suporte multimodelo! Os bate-papos agora suportam vários modelos, de qualquer servidor conectado, e podem responder a cada um deles ao mesmo tempo
• Exclusão rápida! usando o painel de pesquisa rápida/kbar, é muito fácil excluir todos os dados relacionados ao aplicativo
• Suporte à extensão do Chrome! Todos os recursos do aplicativo web, integrados ao navegador
• Suporte Gêmeos Nano!
• Suporte IndexedDB! Todo o texto agora é salvo no IndexedDB em vez do armazenamento local
• Conexão automática na carga. Se houver um servidor visível e pronto para se conectar, nós nos conectaremos a ele para você

Como usar:

Pré-requisitos para inscrição

• Ollama: Baixe e instale o Ollama
  • Baixe um modelo (ou alguns) da biblioteca Ex: ollama pull llava (ou use o aplicativo)
• LM Studio: Baixe e instale o LM Studio
• AUTOMATIC1111: clone Git AUTOMATIC1111 (para geração de imagem)
• Gemini Nano: Baixe e instale o Chrome Canary
  • Habilite o modelo no dispositivo selecionando BypassPerfRequirement
  • Ativar API Gemini para nano
  • Reinicie o Chrome (pode ser necessário aguardar o download)

Como usar o cliente web (sem instalação):

Pré-requisitos para cliente web

• Opções de Ollama:
  • Use o FAQ do Ollama para definir OLLAMA_ORIGINS = https://mrdjohnson.github.io
  • Execute isso em seu terminal OLLAMA_ORIGINS=https://mrdjohnson.github.io ollama serve
    • (Usuários do Powershell: $env:OLLAMA_ORIGINS="https://mrdjohnson.github.io"; ollama serve )
• Estúdio LM:
  • Execute isto em seu terminal: lms server start --cors=true
• A1111:
  • Execute isto na pasta do projeto a1111: ./webui.sh --api --listen --cors-allow-origins "*"
• Gemini Nano: funciona automaticamente

---

• Use seu navegador para acessar LLM-X
• Fique off-line! (opcional)
• Comece a conversar!

Pré-requisitos para extensão do Chrome

• Baixe e instale a extensão do Chrome
• Idealmente, isso funciona imediatamente, sem necessidade de nada especial para conectá-lo! Caso contrário, continue com as etapas abaixo:
• Opções de Ollama:
  • Use o FAQ do Ollama para definir OLLAMA_ORIGINS = chrome-extension://iodcdhcpahifeligoegcmcdibdkffclk
  • Execute isso em seu terminal OLLAMA_ORIGINS=chrome-extension://iodcdhcpahifeligoegcmcdibdkffclk ollama serve
    • (Usuários do Powershell: $env:OLLAMA_ORIGINS="chrome-extension://iodcdhcpahifeligoegcmcdibdkffclk"; ollama serve )
• Estúdio LM:
  • Execute isto em seu terminal: lms server start --cors=true
• A1111:
  • Execute isto na pasta do projeto a1111: ./webui.sh --api --listen --cors-allow-origins "*"

Como usar off-line:

• Siga as instruções para "Como usar o cliente web"
• Na barra de pesquisa do seu navegador, deve haver um botão de download/instalar, pressione-o.
• Fique off-line! (opcional)
• Comece a conversar!

Como usar da fonte do projeto:

Pré-requisitos para origem do projeto

• Ollama: Execute isso em seu terminal ollama serve
• LM Studio: Execute isto em seu terminal: lms server start
• A1111: Execute isto na pasta do projeto a1111: ./webui.sh --api --listen

---

Modo de visualização do Vite

• Retire este projeto; yarn install , yarn preview
• Fique off-line! (opcional)
• Comece a conversar!

Docker

• Execute isto no seu terminal: docker compose up -d
• Abra http://localhost:3030
• Fique off-line! (opcional)
• Comece a conversar!

Extensão do Chrome

• Retire este projeto; yarn chrome:build
• Navegue para chrome://extensions/
• Carregue descompactado (opção de modo de desenvolvedor) do caminho: llm-x/extensions/chrome/dist

Metas/Recursos

• COMPLETAMENTE PRIVADO; FUNCIONA COMPLETAMENTE OFFLINE
• Integração Ollama!
• Integração do LM Studio!
• Integração de servidor de IA aberta!
• Integração Gemini Nano!
• Integração AUTOMÁTICA1111!
• Geração de texto para imagem através do AUTOMATIC1111
• Imagem para texto usando as habilidades multimodais de Ollama
• Destaque de código com Highlight.js (lida apenas com linguagens comuns por enquanto)
• A barra de pesquisa/comando fornece acesso rápido aos recursos do aplicativo por meio do kbar
• Suporte a látex
• Permita que os usuários tenham quantas conexões quiserem!
• Histórico de bate-papo salvo automaticamente
• Gerenciar vários bate-papos
• Copiar/Editar/Excluir mensagens enviadas ou recebidas
• Reescrever a mensagem do usuário (acionando a atualização da resposta)
• Personalização do prompt do sistema por meio do recurso "Personas"
• Mudança de tema através do DaisyUI
• Visualização modal da imagem do bate-papo por meio de mais uma lightbox de reação
• Importar/Exportar bate-papo(s)
• Implantação contínua! A fusão com o branch master aciona a construção/implantação de uma nova página do github automaticamente

Capturas de tela:

Mostrando o modo de extensão do Chrome com Gemini Nano no dispositivo do Google

Mostrando o modo de extensão do Chrome com llama3.2-vision de Ollama

Mostrando capacidade de executar ollama e LM Studio ao mesmo tempo

Conversa sobre logotipo

Exemplo de geração de imagem!

Exibindo omnibar e código

Exibindo código e tema leve

Respondendo sobre um gato

Suporte ao látex!

Outra resposta do logotipo

O que é isso? UI estilo ChatGPT para o grupo de nicho de pessoas que executam o Ollama (pense nisso como um servidor gpt de bate-papo offline) localmente. Suporta envio e recebimento de imagens e texto! FUNCIONA OFFLINE por meio dos padrões PWA (Progressive Web App) (não está morto!)

Por que fazer isso? Já faz algum tempo que estou interessado na interface do LLM e este me pareceu um bom aplicativo de introdução. Conheci muitas tecnologias modernas graças a este projeto também, foi divertido!

Por que tantas palavras da moda? Eu não pude deixar de ser legal?

Pilha de tecnologia (obrigado):

Ajudantes lógicos:

• Reagir
• Texto datilografado
• Lodash
• Zod
• Mobx
• Árvore de estado Mobx (ótimo para iniciar um projeto rapidamente, péssimo para manutenção a longo prazo)
• Langchain.js

Ajudantes de IU:

• CSS do vento favorável
• Daisy UI
• Próxima UI
• Destaque.js
• Reagir Markdown
• kbar
• Mais um Lightbox React
• Reaja a fala ao texto

Ajudantes de configuração do projeto:

• Vite
• Plug-in Vite PWA
• Extensão da Web do plug-in Vite

Inspiração: projeto de ollama-ui. O que permite que os usuários se conectem ao ollama por meio de um aplicativo da web

Perplexity.ai Perplexity tem alguns avanços incríveis de UI no espaço de UI LLM e estou muito interessado em chegar a esse ponto. Espero que este projeto inicial me permita chegar mais perto de fazer algo semelhante!

Começando com o desenvolvimento local

(observe os requisitos mínimos do motor no pacote json)

Clone o projeto e execute yarn no diretório raiz

yarn dev inicia uma instância local e abre uma guia do navegador em https:// (por motivos de PWA)

DIVERSOS

• LangChain.js foi tentado ao aumentar este aplicativo, mas infelizmente não foi configurado corretamente para interromper fluxos de entrada. Espero que isso seja corrigido mais tarde no futuro OU, se possível, um agente LLM personalizado possa ser utilizado para usar LangChain

  • editar: Langchain está funcionando e adicionado ao aplicativo agora!

• Originalmente eu usei create-react-app ? enquanto fazia esse projeto sem saber que ele não tinha mais manutenção, agora estou usando o Vite. ? Isso já me permite usar libs como ollama-js que eu não conseguia usar antes. Estarei testando mais com langchain em breve

• Este leia-me foi escrito com https://stackedit.io/app

• Mudanças na ramificação principal acionam uma implantação imediata em https://mrdjohnson.github.io/llm-x/