AI Runner é uma interface que permite executar modelos de linguagem grande (LLM) de código aberto e geradores de imagens AI (Stable Diffusion) em seu próprio hardware.
Ele foi projetado para ser fácil de usar, com uma interface simples e intuitiva que permite executar modelos de IA sem a necessidade de um servidor web ou serviço em nuvem.
Foi otimizado para velocidade e eficiência, permitindo gerar imagens e conversar com chatbots em tempo real.
AI Runner é uma interface de IA que permite executar modelos de linguagem grande (LLM) de código aberto e geradores de imagens de IA (Difusão Estável) em seu próprio hardware.
Recurso | Descrição |
---|---|
LLMs e comunicação | |
Conversas de chatbot baseadas em voz | Converse com um chatbot usando sua voz |
Conversão de texto para fala | Converter texto em áudio falado |
Fala para texto | Converta áudio falado em texto |
Chatbots personalizáveis com LLMs | Gere texto usando modelos de linguagem grandes |
RAG em documentos e sites locais | Interaja com seus documentos locais usando um LLM |
? Geração de imagem | |
Difusão Estável (todas as versões) | Gere imagens usando difusão estável |
Ferramentas de desenho | Transforme esboços em arte |
Texto para imagem | Gere imagens a partir de descrições textuais |
Imagem a imagem | Gere imagens com base nas imagens de entrada |
?️ Manipulação de imagem | |
Pintura interna e externa | Modifique partes de uma imagem enquanto mantém o contexto |
Rede de controle | Controle a geração de imagens com entrada adicional |
LoRA | Ajuste eficiente de modelos com LoRA |
Incorporações textuais | Use embeddings textuais para controle de geração de imagens |
Filtros de imagem | Desfoque, granulação de filme, pixel art e muito mais |
? Utilitário | |
Execute off-line, localmente | Execute em seu próprio hardware sem internet |
Geração rápida | Gere imagens em aproximadamente 2 segundos (RTX 2080s) |
Execute vários modelos ao mesmo tempo | Utilize vários modelos simultaneamente |
Modo escuro | Experiência de visualização confortável em ambientes com pouca luz |
Tela de rolagem infinita | Percorra perfeitamente as imagens geradas |
Alternar filtro NSFW | Ajude a controlar a visibilidade do conteúdo NSFW |
Alternância dos guarda-corpos NSFW | Ajude a prevenir a geração de conteúdo prejudicial LLM |
Totalmente personalizável | Ajuste facilmente todos os parâmetros |
Tempo de carregamento rápido, interface responsiva | Desfrute de uma experiência de usuário tranquila e responsiva |
Píton puro | Sem dependência de um servidor web, implementação pura de python |
Existem várias maneiras de começar a usar o AI Runner, como empacotado, a partir do código-fonte e como uma biblioteca.
Instruções detalhadas de embalagem e instalação podem ser encontradas no wiki.
Instalação
pip install airunner
Correndo
airunner
AI Runner instala todos os modelos necessários para executar um chatbot com recursos de conversão de texto em fala e fala em texto, bem como os modelos principais necessários para difusão estável. No entanto, você deve fornecer seus próprios modelos de geradores de arte.
Você pode baixar modelos em Huggingface.co ou civitai.com.
Os modelos de difusão estável suportados são:
Os modelos devem ser colocados em seus respectivos diretórios no diretório airunner
.
~/.local/share/airunner
├── art
│ ├── models
│ │ ├── SD 1.5
│ │ │ ├── lora
│ │ │ └── embeddings
│ │ ├── SDXL 1.0
│ │ │ ├── lora
│ │ │ └── embeddings
│ │ └── SDXL Turbo
│ │ ├── lora
│ │ └── embeddings
Execute todos os testes unitários
python -m unittest discover -s src/airunner/tests
Execute um único teste de unidade python -m unittest src/airunner/tests/<file_name>
Exemplo
python -m unittest src/airunner/tests/test_prompt_weight_convert.py
Embora o AI Runner v3.0 seja construído com bibliotecas Huggingface, tomamos o cuidado de retirar do aplicativo qualquer recurso de telemetria ou rastreamento.
Apenas o assistente de configuração precisa de acesso à internet para baixar os modelos necessários.
Para obter mais informações, consulte as bibliotecas Darklock e Facehuggershield.
O acesso de gravação para a biblioteca de transformadores foi desabilitado, impedindo a criação de um diretório de cache huggingface em tempo de execução.
O próprio aplicativo ainda pode acessar o disco para leitura e gravação, no entanto, restringimos leituras e gravações no diretório airunner
fornecido pelo usuário (por padrão, ele está localizado em ~/.local/share/airunner
).
Todas as outras tentativas de acesso ao disco serão bloqueadas e registradas para sua análise.
Para obter mais informações, consulte src/security/restrict_os_access.py
.
Huggingface Hub contém recursos de telemetria e rastreamento que foram completamente desativados no AI Runner.
As medidas de segurança tomadas para esta biblioteca são as seguintes
Consulte Facehuggershield para obter mais informações.