ConversAI
1.0.0
ConversAI é uma estrutura inovadora de IA conversacional projetada para capacitar os usuários com interações inteligentes em vários formatos de documentos e conteúdo da web. Utilizando técnicas avançadas de processamento de linguagem natural (PNL), o ConversAI permite extração de texto e recursos de consulta contínuos, tornando-o uma ferramenta inestimável para pesquisadores, estudantes, profissionais e qualquer pessoa que interaja regularmente com informações baseadas em texto.
Numa era caracterizada pela sobrecarga de informação, o processamento eficiente de dados é crucial. A ConversAI aborda esse desafio aproveitando tecnologias de ponta para transformar dados não estruturados em insights acionáveis. Seja extraindo informações significativas de PDFs, buscando transcrições de vídeos do YouTube ou coletando dados de várias páginas da web, o ConversAI fornece uma interface amigável que simplifica essas tarefas complexas.
Com seu design modular, o ConversAI não é apenas uma ferramenta, mas uma plataforma que pode ser estendida e personalizada para atender às diversas necessidades do usuário.
Antes de executar o ConversAI, certifique-se de ter as seguintes dependências instaladas:
apt-get update && apt-get upgrade -y
apt-get install poppler-utils -yAlém disso, você precisa configurar suas variáveis de ambiente para a API GROQ:
GROQ_API_KEY em suas variáveis de ambiente.Clone o repositório:
git clone https://github.com/rauhanahmed/ConversAI.git
cd ConversAIInstale os pacotes necessários:
pip install -r requirements.txtPara iniciar o aplicativo, execute o seguinte comando:
python app.pyA interface do Gradio será aberta em seu navegador padrão.
Caso uma GPU não esteja disponível, modifique o arquivo config.ini da seguinte forma:
Na seção [EMBEDDINGS] , altere:
device = cudapara:
device = cpu Na seção [EASYOCR] , altere:
gpu = truepara:
gpu = falseEsses ajustes garantirão que o aplicativo funcione sem problemas com os recursos da CPU.
Depois de usar a interface, clique no botão "Limpar" para redefinir os campos. Isto é crucial porque o gerenciamento de sessões não foi implementado nesta versão e a falha na limpeza das entradas pode levar à persistência involuntária de dados durante interações subsequentes.
Aqui está uma visão abrangente da árvore de diretórios do projeto:
ConversAI/
├── app.py # Main application file
├── config.ini # Configuration file
├── params.yaml # Prompts for the application
├── requirements.txt # Required Python packages
├── src/ # Source code directory
│ ├── components/ # Component modules
│ │ ├── loaders/ # Data loaders
│ │ │ ├── pdfLoader.py
│ │ │ ├── websiteCrawler.py
│ │ │ └── youtubeLoader.py
│ │ ├── rag/ # Retrieval-Augmented Generation components
│ │ │ └── RAG.py
│ │ └── vectors/ # Vector storage and processing
│ │ └── vectorstore.py
│ ├── utils/ # Utility functions and classes
│ │ ├── exceptions.py
│ │ ├── functions.py
│ │ ├── logging.py
│ ├── pipelines/ # Pipeline logic for data processing
│ │ └── completePipeline.py
└── README.md # Project documentation
ConversAI é mais do que apenas uma ferramenta; é uma solução abrangente para gerenciar e extrair insights de diversos formatos de documentos e fontes da web. Com seus recursos poderosos e interface amigável, o ConversAI está preparado para tornar a recuperação e o processamento de informações mais fácil e eficiente do que nunca.
Claro! Aqui está uma seção atualizada para incluir suas contribuições e agradecimentos:
Este projeto foi desenvolvido enquanto trabalhava como Engenheiro de IA na Tech Consulting Partners. Construí o ConversAI do zero, implementando métodos avançados de recuperação de documentos, técnicas de reclassificação, metodologias de pesquisa híbridas, múltiplas integrações com grandes modelos de linguagem (LLMs) e muitas outras funcionalidades complexas.
O back-end inclui recursos de gerenciamento de usuários, soluções sofisticadas de armazenamento de dados (incluindo gerenciamento de armazenamento S3), gerenciamento de banco de dados e bancos de dados vetoriais. A estratégia de implantação aproveita APIs robustas, contêineres Docker, práticas de CI/CD, monitoramento de modelo e implantação de plataforma em nuvem.
Este protótipo de código aberto serve como um trampolim para um projeto mais abrangente voltado para o bem público, mostrando o imenso potencial das tecnologias avançadas de IA em aplicações cotidianas. Estendo minha sincera gratidão à Tech Consulting Partners por me confiar esta iniciativa e por seu apoio inestimável durante todo o processo de desenvolvimento.
Este projeto está licenciado sob a licença MIT - consulte o arquivo LICENSE para obter detalhes.
Esperamos que você goste de usar o ConversAI! Para qualquer dúvida ou feedback, entre em contato por meio do repositório do projeto ou por e-mail.
