nutch

README Apache Nutch

Для получения последней информации о Nutch посетите наш веб-сайт по адресу:

https://nitch.apache.org/

и наша вики по адресу:

https://cwiki.apache.org/confluence/display/NUTCH/Home

Чтобы начать использовать Nutch, прочитайте руководство:

https://cwiki.apache.org/confluence/display/NUTCH/NutchTutorial

Содействие

Чтобы добавить патч, следуйте этим инструкциям (обратите внимание, что установка Hub не является строго обязательной, но рекомендуется).

0. Загрузите и установите сайтhub.github.com.
1. Сообщите о проблеме JIRA для исправления по адресу https://issues.apache.org/jira/projects/NUTCH/issues.
   • вы получите идентификатор проблемы NUTCH-xxxx, где xxxx — это идентификатор проблемы.
2. git clone https://github.com/apache/nutch.git
3. cd nutch
4. git checkout -b NUTCH-xxxx
5. редактировать файлы (пожалуйста, попробуйте включить тестовый пример, если это возможно)
6. git status (убедитесь, что он показывает, какие файлы вы собираетесь редактировать)
7. Убедитесь, что ваш код соответствует шаблону форматирования кода Nutch, который обычно состоит из двух пробелов.
8. git add <files>
9. git commit -m "fix for NUTCH-xxx contributed by <your username>"
10. hub fork (если хаб не установлен, вы можете форкнуть проект с помощью кнопки «вилка» на странице проекта Nutch Github)
11. git push -u <your git username> NUTCH-xxxx
12. hub pull-request (если хаб не установлен, следуйте инструкциям по созданию пул-реквеста из форка)

настройка IDE

Затмение

Создание файлов проекта Eclipse

 ant eclipse

и следуйте инструкциям в разделе Импорт существующих проектов.

Перед запуском необходимо настроить файл nutch-site.xml. Убедитесь, что вы добавили свойства http.agent.name и plugin.folders . Plugin.folders обычно указывает на <project_root>/build/plugins .

Теперь создайте конфигурацию приложения Java, выберите org.apache.nutch.crawl.Injector и добавьте два пути в качестве аргументов. Первый из них — это каталог crawldb, второй — каталог URL-адресов, из которого инжектор может читать URL-адреса. Теперь запустите вашу конфигурацию.

Если мы по-прежнему видим сообщение No plugins found on paths of property plugin.folders="plugins" , обновите плагин.folders в файле nutch-default.xml, это быстрое решение, но его не следует использовать.

Интеллидж ИДЕЯ

Сначала установите плагин IvyIDEA. затем запустите ant eclipse . При этом будут созданы необходимые файлы .classpath и .project, чтобы Intellij мог импортировать проект на следующем этапе.

В Intellij IDEA выберите «Файл» > «Создать» > «Проект из существующих источников». Выберите домашний каталог Nutch и нажмите «Открыть».

На экране «Импорт проекта» выберите переключатель «Импортировать проект из внешней модели» и выберите «Eclipse». Нажмите «Создать». На следующем экране «Каталог проектов Eclipse» уже должен быть установлен в папку nutch. Оставьте выбранным переключатель «Создавать файлы модулей рядом с файлами .classpath». Нажмите «Далее» на следующих экранах. На экране SDK проекта выберите Java 11 и нажмите «Создать». NB. Всем, кто пользуется Mac с установленным в домашних условиях openjdk, необходимо использовать каталог в libexec : <openjdk11_directory>/libexec/openjdk.jdk/Contents/Home .

После импорта проекта вы увидите всплывающее окно с надписью «Обнаружены сценарии сборки Ant», «Обнаружены фреймворки — обнаружен IvyIDEA Framework». Нажмите «Импортировать». Если всплывающее окно не появилось, я бы посоветовал повторить шаги еще раз, поскольку это происходит время от времени. Существует еще одно всплывающее окно Ant, в котором вас просят настроить проект. НЕ нажимайте «Настроить».

Чтобы импортировать стиль кода, перейдите в Intellij IDEA > Настройки > Редактор > Стиль кода > Java.

В раскрывающемся списке «Схема» выберите «Проект». Щелкните значок шестеренки и выберите «Импортировать схему» > «XML-файл Eclipse».

Выберите файл eclipse-format.xml и нажмите «Открыть». На следующем экране установите флажок «Текущая схема» и нажмите «ОК».

Запуск в Intellij IDEA

Бег в Intellij

• Открытие конфигураций запуска/отладки
• Выберите «+», чтобы создать новую конфигурацию, и выберите «Приложение».
• В поле «Основной класс» введите класс с основной функцией (например, org.apache.nutch.indexer.IndexingJob).
• В поле «Аргументы программы» добавьте аргументы, необходимые для класса. Их можно получить, запустив исполняемый файл сканирования для вашего задания. Используйте полные пути. (например, /Users/kamil/workspace/external/nutch/crawl/crawldb /Users/kamil/workspace/external/nutch/crawl/segments/20221222160141 -deleteGone)
• В качестве «Рабочего каталога» введите «/Users/kamil/workspace/external/nutch/runtime/local».
• Выберите «Изменить параметры» > «Изменить путь к классам» и добавьте каталог конфигурации, принадлежащий «Рабочему каталогу» из предыдущего шага (например, /Users/kamil/workspace/external/nutch/runtime/local/conf). Это позволит загрузчику ресурсов загрузить эту конфигурацию.
• Выберите «Изменить параметры» > «Добавить параметры виртуальной машины». Добавьте необходимые параметры виртуальной машины. Их можно получить, запустив исполняемый файл сканирования для вашего задания (например, -Xmx4096m -Dhadoop.log.dir=/Users/kamil/workspace/external/nutch/runtime/local/logs -Dhadoop.log.file=hadoop.log - Dmapreduce.job.reduces=2 -Dmapreduce.reduce.speculative=false -Dmapreduce.map.speculative=false -Dmapreduce.map.output.compress=true)

Примечание . Вам нужно будет вручную запустить сборку через ANT, чтобы получить последние обновленные изменения при запуске. Это связано с тем, что система сборки ant отличается от системы Intellij.