ConversAI
1.0.0
ConversAI es un innovador marco de IA conversacional diseñado para capacitar a los usuarios con interacciones inteligentes en varios formatos de documentos y contenido web. Utilizando técnicas avanzadas de procesamiento del lenguaje natural (NLP), ConversAI permite capacidades de consulta y extracción de texto sin interrupciones, lo que la convierte en una herramienta invaluable para investigadores, estudiantes, profesionales y cualquier persona que interactúe regularmente con información basada en texto.
En una era caracterizada por la sobrecarga de información, el procesamiento eficiente de datos es crucial. ConversAI aborda este desafío aprovechando tecnologías de última generación para transformar datos no estructurados en información procesable. Ya sea extrayendo información significativa de archivos PDF, obteniendo transcripciones de videos de YouTube o recopilando datos de múltiples páginas web, ConversAI proporciona una interfaz fácil de usar que simplifica estas tareas complejas.
Con su diseño modular, ConversAI no es solo una herramienta, sino una plataforma que puede ampliarse y personalizarse para adaptarse a los diversos requisitos de los usuarios.
Antes de ejecutar ConversAI, asegúrese de tener instaladas las siguientes dependencias:
apt-get update && apt-get upgrade -y
apt-get install poppler-utils -yAdemás, debe configurar las variables de entorno para la API de GROQ:
GROQ_API_KEY en sus variables de entorno.Clonar el repositorio:
git clone https://github.com/rauhanahmed/ConversAI.git
cd ConversAIInstale los paquetes necesarios:
pip install -r requirements.txtPara iniciar la aplicación, ejecute el siguiente comando:
python app.pyLa interfaz de Gradio se abrirá en su navegador web predeterminado.
En caso de que una GPU no esté disponible, modifique el archivo config.ini de la siguiente manera:
En la sección [EMBEDDINGS] , cambie:
device = cudaa:
device = cpu En la sección [EASYOCR] , cambie:
gpu = truea:
gpu = falseEstos ajustes garantizarán que la aplicación se ejecute sin problemas con los recursos de la CPU.
Después de usar la interfaz, asegúrese de hacer clic en el botón "Borrar" para restablecer los campos. Esto es crucial porque la gestión de sesiones no se ha implementado en esta versión y no borrar las entradas puede provocar una persistencia no deseada de los datos durante interacciones posteriores.
Aquí hay una vista completa del árbol de directorios del proyecto:
ConversAI/
├── app.py # Main application file
├── config.ini # Configuration file
├── params.yaml # Prompts for the application
├── requirements.txt # Required Python packages
├── src/ # Source code directory
│ ├── components/ # Component modules
│ │ ├── loaders/ # Data loaders
│ │ │ ├── pdfLoader.py
│ │ │ ├── websiteCrawler.py
│ │ │ └── youtubeLoader.py
│ │ ├── rag/ # Retrieval-Augmented Generation components
│ │ │ └── RAG.py
│ │ └── vectors/ # Vector storage and processing
│ │ └── vectorstore.py
│ ├── utils/ # Utility functions and classes
│ │ ├── exceptions.py
│ │ ├── functions.py
│ │ ├── logging.py
│ ├── pipelines/ # Pipeline logic for data processing
│ │ └── completePipeline.py
└── README.md # Project documentation
ConversAI es más que una simple herramienta; Es una solución integral para administrar y extraer información de una multitud de formatos de documentos y fuentes web. Con sus poderosas capacidades y su interfaz fácil de usar, ConversAI está preparado para hacer que la recuperación y el procesamiento de información sean más fáciles y eficientes que nunca.
¡Seguro! Aquí hay una sección actualizada para incluir sus contribuciones y agradecimientos:
Este proyecto se desarrolló mientras trabajaba como ingeniero de inteligencia artificial en Tech Consulting Partners. Construí ConversAI desde cero, implementando métodos avanzados de recuperación de documentos, técnicas de reclasificación, metodologías de búsqueda híbrida, múltiples integraciones con grandes modelos de lenguaje (LLM) y muchas otras funcionalidades complejas.
El backend incluye funciones de administración de usuarios, soluciones sofisticadas de almacenamiento de datos (incluida la administración de almacenamiento S3), administración de bases de datos y bases de datos vectoriales. La estrategia de implementación aprovecha API sólidas, contenedores Docker, prácticas de CI/CD, monitoreo de modelos e implementación de plataformas en la nube.
Este prototipo de código abierto sirve como un trampolín hacia un proyecto más integral destinado al bien público, mostrando el inmenso potencial de las tecnologías avanzadas de IA en aplicaciones cotidianas. Extiendo mi más sincero agradecimiento a Tech Consulting Partners por confiarme esta iniciativa y por su invaluable apoyo durante todo el proceso de desarrollo.
Este proyecto tiene la licencia MIT; consulte el archivo de LICENCIA para obtener más detalles.
¡Esperamos que disfrutes usando ConversAI! Si tiene alguna pregunta o comentario, comuníquese a través del repositorio del proyecto o por correo electrónico.
