Llama_RAG_System

Llama_rag_system

Descripción general

El sistema LLAMA_RAG_SYSTEM es un sistema de generación acuático (RAG) sólido diseñado para responder interactivamente a las consultas de los usuarios con respuestas ricas y contextualmente relevantes. Construido utilizando el modelo LLAMA y Ollama , este sistema puede manejar diversas tareas, incluida la respuesta a preguntas generales, resumir contenido y extraer información de los documentos PDF cargados. La arquitectura utiliza ChromAdB para una integración eficiente de documentos y recuperación, al tiempo que incorpora capacidades de raspado web para obtener información actualizada de Internet.

Aquí hay una visión de la interfaz de la aplicación Gradio:

? Tenga en cuenta: este proyecto está actualmente en desarrollo. ¡Sus comentarios y contribuciones son bienvenidos!

Características

• Ejecución del modelo local con Ollama : utiliza Ollama para ejecutar el modelo LLAMA localmente, asegurando respuestas más rápidas y una mayor privacidad. Al mantener el procesamiento de datos local, los usuarios pueden mantener el control sobre su información sin enviarla a servidores externos.
• Raspado web para respuestas actualizadas : raspa Internet para proporcionar información relevante en tiempo real, lo que permite que el sistema entregue respuestas precisas basadas en los datos más recientes.
• Procesamiento de documentos PDF : cargue archivos PDF para la extracción de texto automático e incrustación.
• Manejo de consultas dinámicas : detecta automáticamente el tipo de consultas de usuario (preguntas generales, resumen, chit-chat, etc.) y proporciona respuestas apropiadas.
• Interfaces de Gradio y Flask : interfaces web fáciles de usar para interactuar con el modelo y cargar documentos.
• Incruscaciones personalizadas : utiliza ChromAdB para almacenar y recuperar incrustaciones de documentos de manera eficiente.

¿Por qué usar Ollama?

Ollama es una excelente opción para ejecutar modelos de aprendizaje automático localmente por varias razones:

• Privacidad : ejecutar el modelo en infraestructura local asegura que los datos confidenciales permanezcan dentro del entorno del usuario, minimizando el riesgo de violaciones o fugas de datos.
• Rendimiento : la ejecución local reduce la latencia, lo que permite tiempos de respuesta más rápidos en comparación con las soluciones basadas en la nube.
• Personalización : los usuarios pueden ajustar el modelo para satisfacer las necesidades específicas sin depender de los proveedores de servicios externos.

Estructura de carpetas

El proyecto está organizado de la siguiente manera:

 project/
├── core/
│   ├── embedding.py             # Embedding-related functionality
│   ├── document_utils.py        # Functions to handle document loading and processing
│   ├── query.py                 # Query document functionality
│   ├── generate.py              # Response generation logic
│   ├── web_scrape.py            # Web scraping functionality
│
├── scripts/
│   ├── run_flask.py             # Script to run Flask API
│   ├── run_gradio.py            # Script to run Gradio interface
│
├── chromadb_setup.py            # ChromaDB setup and connection
│
├── README.md                    # Project documentation

Instalación

Para configurar el LLAMA_RAG_SYSTEM, siga estos pasos:

1. Clon el repositorio:

   git clone https://github.com/NimaVahdat/Llama_RAG_System.git
   cd Llama_RAG_System

2. Asegúrese de que ChromAdB y cualquier otro servicio necesario se ejecuten según sea necesario.

Uso

Ejecutando la API del frasco

Para iniciar la API de Flask, ejecute el siguiente comando:

python -m scripts.run_flask

Ejecutando la interfaz de Gradio

Para iniciar la interfaz de Gradio, ejecute:

python -m scripts.run_gradio

Después de ejecutar cualquier script, podrá interactuar con el sistema a través de la interfaz web proporcionada.

Que contribuye

¡Las contribuciones son bienvenidas! Si tiene sugerencias para mejoras o características, desembolse el repositorio y envíe una solicitud de extracción.

Licencia

Este proyecto tiene licencia bajo la licencia MIT; consulte el archivo de licencia para obtener más detalles.

Expresiones de gratitud

• LLAMA para la arquitectura modelo subyacente.
• Ollama para la ejecución local de modelos de aprendizaje automático, mejorando la privacidad y el rendimiento.
• Gradio para la interfaz interactiva.
• ChromAdB para almacenamiento y recuperación de documentos eficientes.

Contacto

Para cualquier consulta o soporte, contácteme.