nutch

LEIA-ME do Apache Nutch

Para obter as informações mais recentes sobre o Nutch, visite nosso website em:

https://nutch.apache.org/

e nosso wiki, em:

https://cwiki.apache.org/confluence/display/NUTCH/Home

Para começar a usar o Nutch, leia o tutorial:

https://cwiki.apache.org/confluence/display/NUTCH/NutchTutorial

Contribuindo

Para contribuir com um patch, siga estas instruções (observe que a instalação do Hub não é estritamente necessária, mas é recomendada).

0. Baixe e instale hub.github.com
1. Arquive o problema do JIRA para sua correção em https://issues.apache.org/jira/projects/NUTCH/issues
   • você obterá o ID do problema NUTCH-xxxx, onde xxxx é o ID do problema.
2. git clone https://github.com/apache/nutch.git
3. cd nutch
4. git checkout -b NUTCH-xxxx
5. editar arquivos (tente incluir um caso de teste, se possível)
6. git status (certifique-se de que mostra quais arquivos você espera editar)
7. Certifique-se de que seu código esteja em conformidade com o modelo de formatação de código Nutch, que consiste basicamente em dois recuos de espaço
8. git add <files>
9. git commit -m "fix for NUTCH-xxx contributed by <your username>"
10. hub fork (se o hub não estiver instalado, você pode bifurcar o projeto usando o botão "fork" na página do projeto Nutch Github)
11. git push -u <your git username> NUTCH-xxxx
12. hub pull-request (se o hub não estiver instalado, siga as instruções sobre como criar uma solicitação pull a partir de um fork)

Configuração do ambiente de desenvolvimento integrado

Eclipse

Gerar arquivos de projeto Eclipse

 ant eclipse

e siga as instruções em Importando projetos existentes.

Você deve configurar nutch-site.xml antes de executar. Certifique-se de ter adicionado as propriedades http.agent.name e plugin.folders . O plugin.folders normalmente aponta para <project_root>/build/plugins .

Agora crie uma configuração de aplicativo Java, escolha org.apache.nutch.crawl.Injector, adicione dois caminhos como argumentos. O primeiro é o diretório crawldb, o segundo é o diretório URL onde o injetor pode ler URLs. Agora execute sua configuração.

Se ainda virmos No plugins found on paths of property plugin.folders="plugins" , atualize plugin.folders no nutch-default.xml, esta é uma solução rápida, mas não deve ser usada.

IDEIA INTELIG

Primeiro instale o plug-in IvyIDEA. então execute ant eclipse . Isso criará os arquivos .classpath e .project necessários para que o Intellij possa importar o projeto na próxima etapa.

No Intellij IDEA, selecione Arquivo > Novo > Projeto de fontes existentes. Selecione o diretório inicial do nutch e clique em "Abrir".

Na tela "Importar Projeto", selecione o botão de opção "Importar projeto do modelo externo" e selecione "Eclipse". Clique em "Criar". Na próxima tela o "Diretório de projetos do Eclipse" já deve estar configurado para a pasta nutch. Deixe o botão de opção "Criar arquivos de módulo próximos aos arquivos .classpath" selecionado. Clique em “Avançar” nas próximas telas. Na tela do SDK do projeto selecione Java 11 e clique em “Criar”. NB Para qualquer pessoa em um Mac com um openjdk instalado em homebrew, você precisa usar o diretório em libexec : <openjdk11_directory>/libexec/openjdk.jdk/Contents/Home .

Depois que o projeto for importado, você verá um pop-up dizendo "Ant build scripts found", "Frameworks detectados - IvyIDEA Framework detectado". Clique em "Importar". Se você não receber o pop-up, sugiro seguir as etapas novamente, pois isso acontece de tempos em tempos. Há outro pop-up Ant que solicita que você configure o projeto. NÃO clique em "Configurar".

Para importar o estilo de código, vá para Intellij IDEA > Preferências > Editor > Estilo de código > Java.

Para o menu suspenso Esquema, selecione "Projeto". Clique no ícone de engrenagem e selecione "Importar esquema" > "Arquivo Eclipse XML".

Selecione o arquivo eclipse-format.xml e clique em "Abrir". Na próxima tela marque a caixa de seleção "Esquema Atual" e clique em OK.

Executando no Intellij IDEA

Executando no Intellij

• Abra configurações de execução/depuração
• Selecione "+" para criar uma nova configuração e selecione "Aplicativo"
• Para "Classe Principal" insira uma classe com uma função principal (por exemplo, org.apache.nutch.indexer.IndexingJob).
• Para "Argumentos do Programa" adicione os argumentos necessários para a classe. Você pode obtê-los executando o executável de rastreamento do seu trabalho. Use caminhos totalmente qualificados. (por exemplo, /Users/kamil/workspace/external/nutch/crawl/crawldb /Users/kamil/workspace/external/nutch/crawl/segments/20221222160141 -deleteGone)
• Para "Diretório de trabalho" digite "/Users/kamil/workspace/external/nutch/runtime/local".
• Selecione "Modificar opções" > "Modificar Classpath" e adicione o diretório de configuração pertencente ao "Diretório de trabalho" da etapa anterior (por exemplo, /Users/kamil/workspace/external/nutch/runtime/local/conf). Isso permitirá que o carregador de recursos carregue essa configuração.
• Selecione "Modificar opções" > "Adicionar opções de VM". Adicione as opções de VM necessárias. Você pode obtê-los executando o executável de rastreamento para o seu trabalho (por exemplo, -Xmx4096m -Dhadoop.log.dir=/Users/kamil/workspace/external/nutch/runtime/local/logs -Dhadoop.log.file=hadoop.log - Dmapreduce.job.reduces=2 -Dmapreduce.reduce.speculative=false -Dmapreduce.map.speculative=false -Dmapreduce.map.output.compress=true)

Observação : você precisará acionar manualmente uma compilação por meio do ANT para obter as alterações atualizadas mais recentes durante a execução. Isso ocorre porque o sistema de construção do Ant é separado do Intellij.