yoursearch

Sua pesquisa

Um mecanismo de pesquisa de código aberto + rastreador da web. Pode ser usado para armazenar em cache sites específicos ou toda a web. Isso faz parte de um projeto para armazenar em cache sites específicos da web em um Raspberry Pi e disponibilizar informações gratuitamente em áreas remotas onde o acesso à Internet é difícil de fornecer.

Este é um trabalho em andamento e em seus estágios iniciais, não adequado para uso em produção. No entanto, para sites individuais, este mecanismo de pesquisa funciona muito bem.

Resultados

Como funciona?

O mecanismo de pesquisa possui 2 componentes; um rastreador e o servidor. O rastreador rastreia a web e envia o conteúdo da página rastreada de volta ao servidor. O servidor armazena esse conteúdo em um banco de dados. Sempre que um usuário deseja pesquisar algo, o servidor realiza uma operação de pesquisa no banco de dados sobre o conteúdo armazenado.

Problemas/TODO

• A indexação é lenta.
• Mude o backend do banco de dados MySQL para algo rápido; talvez Mongodb.
• Comunicação segura entre servidor e rastreador

Requisitos

Servidor: PHP7 + MySQL.

Cliente: Funciona em qualquer lugar

Começando

• Crie o arquivo main.go na pasta do rastreador: go build main.go

• Configure um servidor LEMP

• Configure o servidor web online, copiando o conteúdo da pasta do servidor web.

• Importe db.sql para seu banco de dados MySQL.

• Vá para application/config/database.php para alterar as credenciais do banco de dados para o seu servidor db.

• Teste para ver se está funcionando visitando your-server-ip/index.php/Api

• Altere os links no arquivo config.json para apontar para o seu servidor, altere também o URL inicial.

• Execute o rastreador: ./main ./ . O primeiro argumento para o rastreador é o caminho para o diretório que contém o arquivo config.json. (PS: você pode executar vários rastreadores ao mesmo tempo)

• Visite your-server-ip para visualizar a página de pesquisa e ver o progresso do número de páginas indexadas.