AI Runner es una interfaz que le permite ejecutar modelos de lenguaje grande (LLM) de código abierto y generadores de imágenes de IA (Stable Diffusion) en su propio hardware.
Está diseñado para ser fácil de usar, con una interfaz sencilla e intuitiva que permite ejecutar modelos de IA sin necesidad de un servidor web o servicio en la nube.
Ha sido optimizado para brindar velocidad y eficiencia, permitiéndole generar imágenes y tener conversaciones con chatbots en tiempo real.
AI Runner es una interfaz de IA que le permite ejecutar modelos de lenguaje grande (LLM) de código abierto y generadores de imágenes de IA (difusión estable) en su propio hardware.
Característica | Descripción |
---|---|
LLM y comunicación | |
Conversaciones de chatbot basadas en voz | Mantén conversaciones con un chatbot usando tu voz |
Texto a voz | Convertir texto a audio hablado |
Voz a texto | Convertir audio hablado a texto |
Chatbots personalizables con LLM | Generar texto utilizando modelos de lenguaje grandes. |
RAG en documentos y sitios web locales | Interactúe con sus documentos locales utilizando un LLM |
? Generación de imágenes | |
Difusión estable (todas las versiones) | Generar imágenes usando difusión estable |
herramientas de dibujo | Convierte bocetos en arte |
Texto a imagen | Generar imágenes a partir de descripciones textuales. |
Imagen a imagen | Generar imágenes basadas en imágenes de entrada |
?️ Manipulación de imágenes | |
Pintar y pintar | Modificar partes de una imagen manteniendo el contexto |
controlnet | Controle la generación de imágenes con entrada adicional |
lora | Ajuste eficientemente los modelos con LoRA |
Incrustaciones textuales | Utilice incrustaciones de texto para el control de generación de imágenes. |
Filtros de imagen | Desenfoque, grano de película, pixel art y más |
? Utilidad | |
Ejecutar sin conexión, localmente | Ejecute en su propio hardware sin Internet |
Generacion rapida | Genere imágenes en ~2 segundos (RTX 2080s) |
Ejecute varios modelos a la vez | Utilice múltiples modelos simultáneamente |
modo oscuro | Experiencia de visualización cómoda en entornos con poca luz |
Lienzo de desplazamiento infinito | Desplácese sin problemas por las imágenes generadas |
Alternar filtro NSFW | Ayude a controlar la visibilidad del contenido NSFW |
Alternar barandillas NSFW | Ayude a prevenir la generación de contenido dañino de LLM |
Totalmente personalizable | Ajusta fácilmente todos los parámetros |
Tiempo de carga rápido, interfaz responsiva | Disfrute de una experiencia de usuario fluida y receptiva |
pitón pura | Sin dependencia de un servidor web, implementación pura de Python |
Hay varias formas de comenzar con AI Runner, como empaquetado, desde el código fuente y como biblioteca.
Las instrucciones detalladas de embalaje e instalación se pueden encontrar en la wiki.
Instalación
pip install airunner
Correr
airunner
AI Runner instala todos los modelos necesarios para ejecutar un chatbot con capacidades de texto a voz y de voz a texto, así como los modelos principales necesarios para Stable Diffusion. Sin embargo, debes proporcionar tus propios modelos de generador de arte.
Puede descargar modelos de Huggingface.co o civitai.com.
Los modelos de difusión estable admitidos son:
Los modelos deben colocarse en sus respectivos directorios en el directorio airunner
.
~/.local/share/airunner
├── art
│ ├── models
│ │ ├── SD 1.5
│ │ │ ├── lora
│ │ │ └── embeddings
│ │ ├── SDXL 1.0
│ │ │ ├── lora
│ │ │ └── embeddings
│ │ └── SDXL Turbo
│ │ ├── lora
│ │ └── embeddings
Ejecute todas las pruebas unitarias
python -m unittest discover -s src/airunner/tests
Ejecute una sola prueba unitaria python -m unittest src/airunner/tests/<file_name>
Ejemplo
python -m unittest src/airunner/tests/test_prompt_weight_convert.py
Aunque AI Runner v3.0 está construido con bibliotecas Huggingface, hemos tenido cuidado de eliminar la aplicación de cualquier función de telemetría o seguimiento.
Sólo el asistente de configuración necesita acceso a Internet para poder descargar los modelos requeridos.
Para obtener más información, consulte las bibliotecas Darklock y Facehuggershield.
El acceso de escritura para la biblioteca de transformadores se ha deshabilitado, lo que le impide crear un directorio de caché de Huggingface en tiempo de ejecución.
La aplicación en sí aún puede acceder al disco para lectura y escritura; sin embargo, hemos restringido las lecturas y escrituras en el directorio airunner
proporcionado por el usuario (de forma predeterminada, se encuentra en ~/.local/share/airunner
).
Todos los demás intentos de acceder al disco se bloquean y se registran para su revisión.
Para obtener más información, consulte src/security/restrict_os_access.py
.
Huggingface Hub contiene funciones de telemetría y seguimiento que se han desactivado completamente en AI Runner.
Las medidas de seguridad tomadas para esta biblioteca son las siguientes
Consulte Escudo facial para obtener más información.