Download Yat Search Engine - download do código-fonte Yat Search Engine

Yat Search Engine

Outro código-fonte

version)

Baixar

Mecanismo de pesquisa de texto Yat-Search Engine

Mecanismo de pesquisa da Universidade Sun Yat-sen

Introdução do projeto

Yat-Search Engine é um mecanismo de pesquisa de texto eficiente que suporta carregamento de vários arquivos, consulta precisa, consulta difusa e consulta de expressão regular. Este projeto visa fornecer uma solução de pesquisa de texto rápida e precisa, com armazenamento persistente e funções de registro, e suporta interface chinesa.

Ressalta-se que a busca em chinês só pode ser realizada através da opção “Pesquisa Fuzzy”, sendo necessário que haja um símbolo “.”

Este projeto é apenas para fins de aprendizagem e comunicação, por favor não o utilize para fins comerciais. O autor original não se responsabiliza por quaisquer consequências decorrentes do uso deste projeto.

A versão atual ainda está em desenvolvimento e alguns recursos podem não estar totalmente implementados ainda. Contribuições e sugestões de código são bem-vindas!

Histórico do projeto

A tarefa principal do curso "Estrutura de Dados e Algoritmo" da Escola de Ciência da Computação da Universidade Sun Yat-sen no semestre de outono de 2024.

Versão atual: v1.4.0

Lista de recursos

Suporte a vários arquivos : Vários arquivos de texto podem ser carregados para pesquisa.
Consulta exata : encontre palavras-chave de correspondência exata.
Consulta difusa : encontre palavras que contenham palavras-chave.
Consulta de expressão regular : pesquisa avançada baseada em expressões regulares.
Resultados de pesquisa visual : exibem posições correspondentes de maneira semelhante ao relatório de erros do compilador.
Consulta ilimitada e função de saída : Suporta consulta contínua e os usuários podem sair a qualquer momento.
Armazenamento persistente : salvando e carregando índices de pesquisa.
Função de log : registra o histórico de consultas e logs de operação.
Suporte à saída chinesa : encontre corretamente os caracteres chineses. (ainda não concluído)
O método de compilação foi alterado de mingW para cmake : para facilitar a compilação entre plataformas.
Digite tudo para adicionar todos os arquivos : Digite tudo para carregar todos os arquivos.

Estrutura do projeto


└──Yat-Search-Engine
    ├── CMakeLists.txt
    ├── LICENSE
    ├── dat
    │       └── index.dat
    ├── include
    │       ├── RegexSearch.h
    │       └── TextSearchEngine.h
    ├── log
    │       └── query_log.txt
    ├── logo_pic
    │       ├── logo.txt
    │       └── logo_out.txt
    ├── readme.md
    ├── source-text
    │       ├── bible.txt
    │       ├── text1.txt
    │       ├── text2.txt
    │       └── otherfile...
    └── src
        ├── RegexSearch.cpp
        ├── TextSearchEngine.cpp
        └── main.cpp

Processo de melhoria de função (TODO)

Funções básicas

A tabela hash contém a consulta v1.0.0
- Processo de melhoria : implemente a função hash personalizada CustomHash e use unordered_map no TextSearchEngine para combinar a função hash para otimizar o desempenho da consulta.
Leitura de arquivo v1.0.1
- Processo de melhoria : Melhore o mecanismo de leitura de arquivos para garantir que vários arquivos de texto possam ser lidos e analisados corretamente e que o conteúdo seja indexado nos mecanismos de pesquisa.

Adicionar funcionalidade

Suporte a vários arquivos (concluído) v1.1.0
- Processo de melhoria : Modifique main.cpp para permitir que os usuários insiram vários nomes de arquivo, e o sistema carregará esses arquivos um por um para indexação.
Suporte a expressões regulares (concluído) v1.1.1
- Processo de melhoria : adicione a classe RegexSearch , use a biblioteca C++ <regex> para implementar a função de consulta baseada em expressões regulares e adicione opções correspondentes ao menu principal.
Consulta precisa (concluída) v1.1.2
- Processo de melhoria : implemente o método exactQuery , encontre com eficiência palavras-chave de correspondência exata por meio de unordered_map e exiba os resultados correspondentes.
Resultados de pesquisa visual, como imitar a forma como o compilador relata erros (concluído) v1.2.0
- Processo de melhoria : Nos resultados da consulta, utilize o símbolo ^ para marcar a posição da palavra-chave na frase, semelhante à indicação de erro do compilador, para melhorar a legibilidade.
Consulta ilimitada, botão de saída (concluído) v1.2.1
- Processo de melhoria : Adicione uma função de consulta contínua ao loop principal e os usuários podem optar por sair do programa para garantir a continuidade da experiência do usuário.
Nova função hash (concluída) v1.3.1
- Melhoria planejada : otimize a função CustomHash existente e melhore a eficiência do processamento de conflitos de hash para melhorar ainda mais o desempenho da consulta.
Suporte chinês (concluído) v1.4.0
- Melhorias planejadas : Expanda o suporte de localização do sistema, adicione uma interface multilíngue e melhore a experiência dos usuários chineses. Porém, devido às limitações das expressões regulares, a pesquisa em chinês só pode ser realizada através da opção "Pesquisa Fuzzy", sendo necessário garantir que haja um símbolo "."
Otimização de desempenho e pré-processamento (concluído) v1.3.1
- Processo de melhoria : otimize a estrutura do índice e o algoritmo de consulta, reduza o tempo de pesquisa e execute o pré-processamento ao carregar o texto, como remover palavras irrelevantes e unificar maiúsculas e minúsculas.
Interface do usuário (concluída) v1.2.2
- Processo de melhoria : Projete uma interface de linha de comando concisa e intuitiva para orientar os usuários na conclusão das operações de carregamento e consulta de arquivos.
Armazenamento persistente (concluído) v1.3.0
- Processo de melhoria : Implemente as funções de salvamento e carregamento do índice para evitar a reconstrução do índice toda vez que o programa for iniciado e melhorar a velocidade de inicialização.
Função de log, registro de histórico de consultas, etc. (Concluído) v1.3.2
- Processo de melhoria : após cada consulta e operação importante, informações relevantes são registradas em query_log.txt para facilitar aos usuários a visualização do histórico e a depuração.
Suporte à saída chinesa (concluída) v1.4.0
- Processo de melhoria : Configure um ambiente de localização para garantir que o programa possa processar e exibir corretamente os caracteres chineses e melhorar a experiência dos usuários chineses.
O método de compilação foi alterado de mingW para cmake (concluído) v1.4.0
- Processo de melhoria : Devido às grandes limitações do uso da compilação .vscode (por exemplo, não consigo compilar no codespace), o método de compilação foi alterado de mingW para cmake para facilitar a compilação entre plataformas.
Digite tudo para adicionar todos os arquivos (concluído) v1.4.0
- Processo aprimorado : Ao inserir nomes de arquivos, insira todos para carregar todos os arquivos.

Como usar

Clonar projeto

Certifique-se de executá-lo em um ambiente Linux. Caracteres chineses distorcidos podem ocorrer em um ambiente Windows. Entre no diretório de trabalho e clone o projeto localmente:

git clone https://github.com/ouyangyipeng/Yat-Search-Engine.git
cd Yat-Search-Engine

Compilação recomendada e método de execução - compilar usando Cmake

Certifique-se de ter o CMake e um compilador compatível com C++17 instalados, como g++ ou clang++ . O arquivo cmakelists.txt foi configurado com opções de compilação. Basta executar o seguinte comando para compilar o projeto. Observe que o compilador padrão está localizado em /usr/bin/g++ . Se você precisar usar outros compiladores, modifique o arquivo CMakeLists.txt.

mkdir build  # 假如没有build文件夹
cd build
cmake ..
cmake --build .
./YatSearchEngine

Executar programa

Coloque o arquivo de texto que deseja pesquisar na pasta do texto de origem e certifique-se de que o arquivo esteja salvo no formato .txt.

Etapas da operação

Inicie o programa: Após executar o arquivo executável, o programa exibirá a interface de boas-vindas e solicitará que você pressione Enter para continuar.

Carregar arquivo: Insira o arquivo a ser carregado de acordo com as instruções. Insira um nome de arquivo a cada vez (deve terminar com .txt) e digite concluído para concluir a seleção do arquivo.

Selecione o tipo de consulta:

Digite 1 para uma consulta precisa.

Insira 2 para consulta difusa.

Insira 3 para uma consulta de expressão regular.

Digite 4 para sair do programa.

Insira o conteúdo da consulta: De acordo com o tipo de consulta selecionado, insira as palavras-chave ou expressões regulares correspondentes.

Veja os resultados: os resultados da consulta exibirão frases correspondentes e seus marcadores de localização.

Sair do programa: Selecione a opção de saída, o programa salvará o índice e registrará o log antes de sair.

Visualização de registro

O log de operações de consulta é salvo no arquivo query_log.txt Os usuários podem visualizar registros históricos de consultas e logs de operações por meio de um editor de texto.