context search engine

Mecanismo de pesquisa de texto contextual usando dados vetoriais e FAISS

O objetivo principal deste projeto é mostrar os recursos de pesquisa vetorial, fornecendo uma interface amigável que permite aos usuários realizar pesquisas contextuais em um corpus de documentos de texto. Ao aproveitar o poder do BERT do Hugging Face e do FAISS do Facebook, retornamos passagens de texto altamente relevantes com base no significado semântico da consulta do usuário, em vez de meras correspondências de palavras-chave. Este projeto serve como ponto de partida para desenvolvedores, pesquisadores e entusiastas que desejam se aprofundar no mundo da pesquisa de texto contextualizada e aprimorar suas aplicações com técnicas de PNL de última geração.

Meu objetivo é garantir que entendemos o banco de dados vetorial do zero.

Captura de tela do aplicativo:

1. Pré-requisitos

Para rodar em seu sistema, você pode instalar todos os pacotes necessários via pip usando os arquivos de requisitos:

pip install -r requirements.txt

Para sua informação, estou usando Python 3.10.1.

No entanto, se você tiver uma GPU, será solicitado que você instale a GPU FAISS para integrações de banco de dados maiores e mais rápidas.

2. Escopo do Projeto

A versão atual deste projeto abrange:

• Uma interface web básica construída usando Flask onde os usuários podem inserir e enviar suas consultas de pesquisa.
• Um mecanismo de pesquisa de back-end que:
  • Transforma consultas de usuários em vetores semânticos usando Distil BERT.
  • Compara eficientemente o vetor de consulta com um conjunto pré-indexado de vetores (correspondentes a documentos de texto) armazenados em um índice FAISS.
  • Retorna a passagem de texto mais contextualmente relevante do corpus.
  • Destaca as palavras-chave na passagem de texto retornada que têm correspondência contextual.

Embora o projeto ofereça um sistema de pesquisa contextual funcional, ele foi projetado para ser modular, permitindo potencial expansão e integração em sistemas ou aplicações maiores.

3. Explicação da abordagem geral

A base deste projeto reside na crença de que as técnicas modernas de PNL podem oferecer resultados de pesquisa muito mais precisos e contextualmente relevantes em comparação com os métodos tradicionais baseados em palavras-chave. Aqui está um resumo de nossa abordagem:

1. Interface do usuário : O frontend, construído em Flask, serve como ponto de interação para os usuários. É simples e intuitivo.
2. Vetorização de consulta : quando um usuário envia uma consulta, o sistema backend a transforma em um vetor semântico usando Distil BERT. Este vetor encapsula o significado da consulta.
3. Pesquisando com FAISS : FAISS, uma biblioteca eficiente de pesquisa por similaridade, é utilizada para comparar rapidamente o vetor de consulta com um índice pré-estabelecido de vetores do corpus de texto. A correspondência mais próxima, em termos de significado semântico, é identificada.
4. Retorno de resultados : uma vez identificada a passagem de texto mais relevante, o sistema também destaca palavras-chave ou frases que correspondem contextualmente à consulta do usuário, oferecendo uma dica visual ao usuário sobre por que uma determinada passagem foi considerada relevante.
5. Refinamento Iterativo : Os modelos e técnicas subjacentes estão abertos a refinamentos com base em pesquisas mais recentes, feedback do usuário e necessidades específicas de aplicação.

Com base na abordagem, dividi o projeto em 2 seções:

Seção 1: Gerando dados vetoriais pesquisáveis

Nesta seção, primeiro lemos a entrada dos documentos, dividimos em pedaços menores, criamos vetores usando o modelo baseado em BERT e, em seguida, armazenamos de forma eficiente usando FAISS. Aqui está um diagrama de fluxo que ilustra o mesmo.

Criamos um arquivo de índice FAISS que contém representação vetorial do documento fragmentado. Também armazenamos o índice de cada pedaço. Isso é mantido para que não tenhamos que consultar o banco de dados/documentos novamente. Isso nos ajuda a remover operações de leitura redundantes.

Executamos esta seção usando create_index.py. Ele irá gerar os 2 arquivos acima. Se precisar usar outros modelos, você está aberto para fazê-lo no hub HuggingFace?

Nota: Se você encontrar problemas na configuração do hiperparâmetro para dimensão, verifique o arquivo config.json dos modelos para encontrar detalhes sobre a dimensão do modelo que você está tentando usar.

Seção 2: Construindo Interface de Aplicativo Pesquisável

Nesta seção, meu objetivo é construir uma interface que permita aos usuários interagir com os documentos. Priorizo ​​o design minimalista sem causar obstáculos adicionais.

4. Estrutura do Projeto

1. index.html : página HTML front-end para inserir consultas de pesquisa.
2. app.py : aplicativo Flask que atende o front-end e lida com consultas de pesquisa.
3. search_engine.py : contém lógica para geração de incorporação, pesquisa FAISS e destaque de palavras-chave.

/context_search/
    - templates/
        - index.html
    - static/
    	- css/
    		- style.css
    	- images/
    		- img1.png
    		- img2.png
    		- Approach.png files
    - app.py
    - search_engine.py
    - create_index.py
    - index_to_chunk.pkl
    - faiss_index.idx

5. Uso

1. Certifique-se de ter um índice FAISS treinado ( faiss_index.idx ) e um mapeamento do índice para o bloco de texto ( index_to_chunk.pkl ).
2. Inicie o aplicativo Flask:

 python app.py 
-- OR --
flask run --host=127.0.0.1 --port=5000

1. Abra um navegador da web e acesse http://localhost:5000 .
2. Insira uma consulta de pesquisa e observe o resultado contextualmente relevante.

6. Coisas a fazer – para melhorias

Sempre há espaço para melhorias. Aqui estão algumas melhorias potenciais e recursos adicionais que podem ser integrados:

1. Escalabilidade : Atualmente, o sistema é construído para corpora relativamente menores. Considere aproveitar sistemas distribuídos ou soluções baseadas em nuvem para lidar com conjuntos de dados maiores.
2. Destaque avançado : melhore o sistema de destaque de palavras-chave para garantir que frases contextualmente relevantes (e não apenas palavras individuais) sejam destacadas.
3. Ciclo de feedback : incorpore um mecanismo de feedback do usuário onde os usuários podem avaliar a relevância dos resultados retornados. Isso pode ser usado para ajustar os modelos no futuro.
4. Suporte para vários tipos de documentos : Estenda o suporte para vários tipos de documentos, como PDF, DOCX, etc., permitindo aos usuários pesquisar em diferentes formatos.
5. Frontend aprimorado : melhore a interface do usuário, talvez integrando recursos avançados como preenchimento automático, sugestões de consulta ou uma exibição de resultados mais sofisticada.
6. Suporte para pesquisas multilíngues : Expanda o sistema para suportar consultas em vários idiomas, retornando resultados de um corpus multilíngue.

7. Licença

Este projeto está sob a licença do MIT. Sinta-se à vontade para usar, citar, modificar, distribuir e contribuir. Leia mais.

8. Contribuindo

Se você estiver interessado em melhorar este projeto, suas contribuições serão bem-vindas! Abra uma solicitação pull ou problema neste repositório. Estou essencialmente priorizando as coisas acima para fazer melhorias. Outras solicitações pull também serão consideradas, mas menos priorizadas.

Agradecemos antecipadamente pelo seu interesse. :feliz: .