nutch

Léame de Apache Nutch

Para obtener la información más reciente sobre Nutch, visite nuestro sitio web en:

https://nutch.apache.org/

y nuestra wiki, en:

https://cwiki.apache.org/confluence/display/NUTCH/Home

Para comenzar a usar Nutch, lea el Tutorial:

https://cwiki.apache.org/confluence/display/NUTCH/NutchTutorial

Contribuyendo

Para contribuir con un parche, siga estas instrucciones (tenga en cuenta que no es estrictamente necesario instalar Hub, pero se recomienda).

0. Descargue e instale hub.github.com
1. Presente el problema de JIRA para solucionarlo en https://issues.apache.org/jira/projects/NUTCH/issues
   • Obtendrá el ID del problema NUTCH-xxxx donde xxxx es el ID del problema.
2. git clone https://github.com/apache/nutch.git
3. cd nutch
4. git checkout -b NUTCH-xxxx
5. editar archivos (intente incluir un caso de prueba si es posible)
6. git status (asegúrate de que muestre qué archivos esperabas editar)
7. Asegúrese de que su código cumpla con la plantilla de formato de código de Nutch, que consta básicamente de dos sangrías de espacio.
8. git add <files>
9. git commit -m "fix for NUTCH-xxx contributed by <your username>"
10. hub fork (si el concentrador no está instalado, puede bifurcar el proyecto usando el botón "bifurcación" en la página del proyecto Nutch Github)
11. git push -u <your git username> NUTCH-xxxx
12. hub pull-request (si el concentrador no está instalado, siga las instrucciones sobre cómo crear una solicitud de extracción desde una bifurcación)

configuración IDE

Eclipse

Generar archivos de proyecto Eclipse

 ant eclipse

y siga las instrucciones en Importación de proyectos existentes.

Debe configurar nutch-site.xml antes de ejecutarlo. Asegúrese de haber agregado las propiedades http.agent.name y plugin.folders . Las carpetas plugin.normalmente apuntan a <project_root>/build/plugins .

Ahora cree una configuración de aplicación Java, elija org.apache.nutch.crawl.Injector, agregue dos rutas como argumentos. El primero es el directorio crawldb, el segundo es el directorio URL donde el inyector puede leer las URL. Ahora ejecute su configuración.

Si aún vemos el No plugins found on paths of property plugin.folders="plugins" , actualice plugin.folders en nutch-default.xml, esta es una solución rápida, pero no debe usarse.

INTELIGENCIA IDEA

Primero instale el complemento IvyIDEA. luego ejecuta ant eclipse . Esto creará los archivos .classpath y .project necesarios para que Intellij pueda importar el proyecto en el siguiente paso.

En Intellij IDEA, seleccione Archivo > Nuevo > Proyecto de fuentes existentes. Seleccione el directorio de inicio de Nutch y haga clic en "Abrir".

En la pantalla "Importar proyecto", seleccione el botón de opción "Importar proyecto desde modelo externo" y seleccione "Eclipse". Haga clic en "Crear". En la siguiente pantalla, el "directorio de proyectos de Eclipse" ya debería estar configurado en la carpeta nutch. Deje seleccionado el botón de opción "Crear archivos de módulo cerca de archivos .classpath". Haga clic en "Siguiente" en las siguientes pantallas. En la pantalla del SDK del proyecto, seleccione Java 11 y haga clic en "Crear". NB Para cualquier persona en una Mac con un openjdk instalado en homebrew, debe usar el directorio en libexec : <openjdk11_directory>/libexec/openjdk.jdk/Contents/Home .

Una vez importado el proyecto, verá una ventana emergente que dice "Se encontraron scripts de compilación Ant", "Frameworks detectados - IvyIDEA Framework detectado". Haga clic en "Importar". Si no aparece la ventana emergente, le sugiero que siga los pasos nuevamente, ya que esto sucede de vez en cuando. Hay otra ventana emergente Ant que le pide que configure el proyecto. NO haga clic en "Configurar".

Para importar el estilo de código, vaya a Intellij IDEA > Preferencias > Editor > Estilo de código > Java.

Para el menú desplegable Esquema, seleccione "Proyecto". Haga clic en el ícono de ajustes y seleccione "Importar esquema" > "Archivo XML de Eclipse".

Seleccione el archivo eclipse-format.xml y haga clic en "Abrir". En la siguiente pantalla, marque la casilla de verificación "Esquema actual" y presione Aceptar.

Ejecutando en Intellij IDEA

Corriendo en Intellij

• Abrir configuraciones de ejecución/depuración
• Seleccione "+" para crear una nueva configuración y seleccione "Aplicación"
• Para "Clase principal", ingrese una clase con una función principal (por ejemplo, org.apache.nutch.indexer.IndexingJob).
• Para "Argumentos del programa", agregue los argumentos necesarios para la clase. Puede obtenerlos ejecutando el ejecutable de rastreo para su trabajo. Utilice rutas de acceso completas. (por ejemplo, /Users/kamil/workspace/external/nutch/crawl/crawldb /Users/kamil/workspace/external/nutch/crawl/segments/20221222160141 -deleteGone)
• Para "Directorio de trabajo", ingrese "/Users/kamil/workspace/external/nutch/runtime/local".
• Seleccione "Modificar opciones" > "Modificar Classpath" y agregue el directorio de configuración que pertenece al "Directorio de trabajo" del paso anterior (por ejemplo, /Users/kamil/workspace/external/nutch/runtime/local/conf). Esto permitirá que el cargador de recursos cargue esa configuración.
• Seleccione "Modificar opciones" > "Agregar opciones de VM". Agregue las opciones de VM necesarias. Puede obtenerlos ejecutando el ejecutable de rastreo para su trabajo (por ejemplo, -Xmx4096m -Dhadoop.log.dir=/Users/kamil/workspace/external/nutch/runtime/local/logs -Dhadoop.log.file=hadoop.log - Dmapreduce.job.reduces=2 -Dmapreduce.reduce.speculative=false -Dmapreduce.map.speculative=false -Dmapreduce.map.output.compress=true)

Nota : deberá activar manualmente una compilación a través de ANT para obtener los últimos cambios actualizados durante la ejecución. Esto se debe a que el sistema de construcción de hormigas está separado del de Intellij.