lollms webui
V14 (Saïph)
Bienvenido a lollms webui (El señor de los sistemas multimodales de lenguajes grandes: una herramienta para gobernarlos a todos), el centro para LLM (modelos de lenguajes grandes) y sistemas de inteligencia multimodal. Este proyecto tiene como objetivo proporcionar una interfaz fácil de usar para acceder y utilizar varios LLM y otros modelos de IA para una amplia gama de tareas. Ya sea que necesite ayuda para escribir, codificar, organizar datos, analizar imágenes, generar imágenes, generar música o buscar respuestas a sus preguntas, lollms webui lo tiene cubierto.
Como herramienta integral con acceso a más de 500 acondicionamientos expertos en IA en diversos dominios y más de 2500 modelos ajustados en múltiples dominios, ahora tiene un recurso inmediato para cualquier problema. Ya sea que su automóvil necesite reparación o si necesita ayuda con la codificación en Python, C++ o JavaScript; ¿Se siente deprimido por las decisiones de vida que se tomaron mal pero sin poder ver cómo? Pregúntale a Lollms. Si necesita orientación sobre lo que le espera en términos de salud en función de los síntomas actuales presentados, nuestra IA de asistencia médica puede ayudarlo a obtener un diagnóstico potencial y guiarlo para buscar la atención médica adecuada. Si se encuentra atascado en asuntos legales, como la interpretación de contratos, no dude en comunicarse con la personalidad del abogado para obtener información a mano, todo sin salir de su hogar. No solo ayuda a los estudiantes que tienen dificultades con esos largos lectores, sino que también les brinda apoyo adicional durante las evaluaciones, para que puedan captar los conceptos correctamente en lugar de simplemente leer líneas que podrían dejar a muchos confundidos después. ¿Quieres algo de entretenimiento? Entonces activa Laughter Bot y déjate llevar y disfruta de risas histéricas hasta que se te llenen los ojos de lágrimas mientras juegas a Dungeons&Dragons o inventa historias locas juntos gracias a Creative Story Generator. ¿Necesitas realizar un trabajo de ilustración? ¡No te preocupes, Artbot nos cubrió allí! Y por último, pero no menos importante, LordOfMusic está aquí para generar música según especificaciones individuales. Básicamente, dile adiós a las noches aburridas solo porque todo lo posible se puede lograr dentro de una sola plataforma llamada Lollms...
Gracias a todos los usuarios que probaron esta herramienta y ayudaron a hacerla más fácil de usar.
Si está utilizando Windows, simplemente visite la página de lanzamiento, descargue el instalador de Windows e instálelo.
Descargue el script de instalación de la carpeta de scripts y ejecútelo. Los scripts de instalación son:
win_install.bat para Windows.linux_install.sh para Linux.mac_install.sh para Mac.Desde la versión 9.4, no se recomienda realizar una instalación manual ya que muchos servicios requieren la creación de un entorno independiente y lollms necesita tener un control total sobre los entornos. Entonces, si lo instala usando su propia configuración de conda, no podrá instalar ningún servicio y reducirá el uso de lollms en la interfaz de chat (sin xtts, sin comfortui, sin generación rápida a través de vllm o petals o lo que sea)
La función Smart Routing de Lollms va más allá de simplemente seleccionar el modelo correcto para mayor precisión. Le permite optimizar su proceso de generación de texto para dos factores clave: dinero y velocidad .
Optimización por dinero:
Imagine que está utilizando múltiples servicios de generación de texto con diferentes precios. Algunos modelos pueden ser excepcionalmente potentes pero tienen un precio elevado, mientras que otros ofrecen una opción más económica con un poco menos de capacidad. Smart Routing le permite aprovechar esta diferencia de precio a su favor:
Optimización de la velocidad:
La velocidad es otro factor crítico en la generación de texto, especialmente cuando se trata de grandes volúmenes de contenido o tareas urgentes. Smart Routing le permite priorizar la velocidad mediante:
Casos de uso de ejemplo:
Conclusión:
Smart Routing es una herramienta versátil que le permite optimizar su proceso de generación de texto tanto en términos de costo como de velocidad. Al aprovechar una jerarquía de modelos y ajustar dinámicamente su selección en función de la complejidad del mensaje, puede lograr el equilibrio perfecto entre eficiencia, precisión y rentabilidad.
Al utilizar esta herramienta, los usuarios aceptan seguir estas pautas:
Tenga en cuenta que lollms webui no tiene autenticación de usuario incorporada y está diseñado principalmente para uso local. Exponer la WebUI al acceso externo sin las medidas de seguridad adecuadas podría generar vulnerabilidades potenciales.
Si necesita acceso remoto a LoLLM, se recomienda encarecidamente seguir estas pautas de seguridad:
Activar el modo sin cabeza : habilitar el modo sin cabeza expondrá solo la API de generación y desactivará otros puntos finales potencialmente vulnerables. Esto ayuda a minimizar la superficie de ataque.
Configure un túnel seguro : establezca un túnel seguro entre el host local que ejecuta LoLLM y la PC remota que necesita acceso. Esto garantiza que la comunicación entre los dos dispositivos esté cifrada y protegida.
Modificar los ajustes de configuración : después de configurar el túnel seguro, edite el archivo /configs/local_config.yaml y ajuste los siguientes ajustes:
host : 0.0.0.0 # Allow remote connections
port : 9600 # Change the port number if desired (default is 9600)
force_accept_remote_access : true # Force accepting remote connections
headless_server_mode : true # Set to true for API-only access, or false if the WebUI is neededSi sigue estas prácticas de seguridad, puede ayudar a proteger su instancia de LoLLMs y a sus usuarios de posibles riesgos de seguridad al habilitar el acceso remoto.
Recuerde, es fundamental priorizar la seguridad y tomar las precauciones necesarias para salvaguardar su sistema y su información confidencial. Si tiene más preguntas o inquietudes sobre la seguridad de LoLLM, consulte la documentación o comuníquese con la comunidad para obtener ayuda.
¡Manténgase seguro y disfrute usando LoLLM de manera responsable!
Los modelos de lenguaje grandes son herramientas increíbles que se pueden utilizar para diversos propósitos. Lollms se creó para aprovechar este poder y ayudar al usuario a mejorar su productividad. Pero hay que tener en cuenta que estos modelos tienen sus limitaciones y no deberían reemplazar la inteligencia o la creatividad humana, sino aumentarla proporcionando sugerencias basadas en patrones encontrados en grandes cantidades de datos. ¡Depende de cada individuo cómo elige usarlos responsablemente!
El rendimiento del sistema varía según el modelo utilizado, su tamaño y el conjunto de datos sobre el que se ha entrenado. Cuanto mayor sea el conjunto de entrenamiento de un modelo de lenguaje (más ejemplos), en términos generales, se obtendrán mejores resultados al utilizar dichos sistemas en comparación con aquellos con sistemas más pequeños. Pero todavía no hay garantía de que el resultado generado a partir de un mensaje determinado sea siempre perfecto y puede contener errores por diversos motivos. ¡Así que asegúrese de no usarlo para asuntos serios como elegir medicamentos o tomar decisiones financieras sin consultar a un experto de primera mano!
Este repositorio utiliza código bajo ApacheLicense Versión 2.0; consulte el archivo de licencia para obtener detalles sobre los derechos otorgados con respecto al uso y distribución.
ParísNeo 2023
