nutch

Apache Nutch LISEZMOI

Pour les dernières informations sur Nutch, veuillez visiter notre site Web à l’adresse :

https://nutch.apache.org/

et notre wiki, à l'adresse :

https://cwiki.apache.org/confluence/display/NUTCH/Home

Pour commencer à utiliser Nutch, lisez le didacticiel :

https://cwiki.apache.org/confluence/display/NUTCH/NutchTutorial

Contribuer

Pour contribuer à un correctif, suivez ces instructions (notez que l'installation de Hub n'est pas strictement requise, mais est recommandée).

0. Téléchargez et installez hub.github.com
1. Déposez le problème JIRA pour votre correctif sur https://issues.apache.org/jira/projects/NUTCH/issues
   • vous obtiendrez l'identifiant du problème NUTCH-xxxx où xxxx est l'identifiant du problème.
2. git clone https://github.com/apache/nutch.git
3. cd nutch
4. git checkout -b NUTCH-xxxx
5. modifier les fichiers (veuillez essayer d'inclure un scénario de test si possible)
6. git status (assurez-vous qu'il indique les fichiers que vous comptez modifier)
7. Assurez-vous que votre code est conforme au modèle de formatage de code Nutch, qui est essentiellement composé de deux retraits d'espace.
8. git add <files>
9. git commit -m "fix for NUTCH-xxx contributed by <your username>"
10. hub fork (si hub n'est pas installé, vous pouvez créer un fork sur le projet en utilisant le bouton "fork" sur la page du projet Nutch Github)
11. git push -u <your git username> NUTCH-xxxx
12. hub pull-request (si le hub n'est pas installé, veuillez suivre les instructions pour créer une pull-request à partir d'un fork)

Configuration de l'EDI

Éclipse

Générer des fichiers de projet Eclipse

 ant eclipse

et suivez les instructions dans Importation de projets existants.

Vous devez configurer le fichier nutch-site.xml avant de l'exécuter. Assurez-vous d'avoir ajouté les propriétés http.agent.name et plugin.folders . Le plugin.folders pointe normalement vers <project_root>/build/plugins .

Créez maintenant une configuration d'application Java, choisissez org.apache.nutch.crawl.Injector, ajoutez deux chemins comme arguments. Le premier est le répertoire crawldb, le second est le répertoire URL où l’injecteur peut lire les URL. Exécutez maintenant votre configuration.

Si nous voyons toujours le No plugins found on paths of property plugin.folders="plugins" , mettez à jour le plugin.folders dans le nutch-default.xml, il s'agit d'une solution rapide, mais ne doit pas être utilisée.

IDÉE Intellij

Installez d’abord le plugin IvyIDEA. puis exécutez ant eclipse . Cela créera les fichiers .classpath et .project nécessaires pour qu'Intellij puisse importer le projet à l'étape suivante.

Dans Intellij IDEA, sélectionnez Fichier > Nouveau > Projet à partir de sources existantes. Sélectionnez le répertoire personnel de Nutch et cliquez sur "Ouvrir".

Sur l'écran "Importer un projet", sélectionnez le bouton radio "Importer un projet à partir d'un modèle externe" et sélectionnez "Eclipse". Cliquez sur "Créer". Sur l'écran suivant, le "répertoire des projets Eclipse" devrait déjà être défini dans le dossier nutch. Laissez le bouton radio « Créer des fichiers de module à proximité des fichiers .classpath » sélectionné. Cliquez sur "Suivant" sur les écrans suivants. Sur l'écran du SDK du projet, sélectionnez Java 11 et cliquez sur "Créer". NB Pour toute personne utilisant un Mac avec un openjdk installé en homebrew, vous devez utiliser le répertoire sous libexec : <openjdk11_directory>/libexec/openjdk.jdk/Contents/Home .

Une fois le projet importé, vous verrez une fenêtre contextuelle indiquant "Scripts de construction Ant trouvés", "Frameworks détectés - IvyIDEA Framework détecté". Cliquez sur "Importer". Si vous n'obtenez pas la fenêtre contextuelle, je vous suggère de répéter les étapes, car cela se produit de temps en temps. Il existe une autre fenêtre contextuelle Ant qui vous demande de configurer le projet. Ne cliquez PAS sur « Configurer ».

Pour importer le style de code, accédez à Intellij IDEA > Préférences > Éditeur > Style de code > Java.

Pour la liste déroulante Schéma, sélectionnez « Projet ». Cliquez sur l'icône d'engrenage et sélectionnez « Schéma d'importation » > « Fichier XML Eclipse ».

Sélectionnez le fichier Eclipse-format.xml et cliquez sur "Ouvrir". Sur l'écran suivant, cochez la case « Schéma actuel » et appuyez sur OK.

Exécution dans Intellij IDEA

Courir dans Intellij

• Ouvrir les configurations d'exécution/débogage
• Sélectionnez "+" pour créer une nouvelle configuration et sélectionnez "Application"
• Pour "Classe principale", entrez une classe avec une fonction principale (par exemple org.apache.nutch.indexer.IndexingJob).
• Pour "Arguments du programme", ajoutez les arguments nécessaires à la classe. Vous pouvez les obtenir en exécutant l'exécutable d'analyse pour votre travail. Utilisez des chemins d’accès complets. (par exemple /Users/kamil/workspace/external/nutch/crawl/crawldb /Users/kamil/workspace/external/nutch/crawl/segments/20221222160141 -deleteGone)
• Pour « Répertoire de travail », entrez « /Users/kamil/workspace/external/nutch/runtime/local ».
• Sélectionnez "Modifier les options" > "Modifier le chemin de classe" et ajoutez le répertoire de configuration appartenant au "Répertoire de travail" de l'étape précédente (par exemple /Users/kamil/workspace/external/nutch/runtime/local/conf). Cela permettra au chargeur de ressources de charger cette configuration.
• Sélectionnez « Modifier les options » > « Ajouter des options de VM ». Ajoutez les options de VM nécessaires. Vous pouvez les obtenir en exécutant l'exécutable d'analyse pour votre travail (par exemple -Xmx4096m -Dhadoop.log.dir=/Users/kamil/workspace/external/nutch/runtime/local/logs -Dhadoop.log.file=hadoop.log - Dmapreduce.job.reduces=2 -Dmapreduce.reduce.speculative=false -Dmapreduce.map.speculative=false -Dmapreduce.map.output.compress=true)

Remarque : vous devrez déclencher manuellement une build via ANT pour obtenir les dernières modifications mises à jour lors de l'exécution. En effet, le système de construction de fourmis est distinct de celui d'Intellij.