nutch

아파치 너치 읽어보기

Nutch에 대한 최신 정보를 보려면 다음 웹사이트를 방문하세요.

https://nutch.apache.org/

그리고 우리 위키는 다음 주소에 있습니다:

https://cwiki.apache.org/confluence/display/NUTCH/Home

Nutch 사용을 시작하려면 튜토리얼을 읽어보세요:

https://cwiki.apache.org/confluence/display/NUTCH/NutchTutorial

기여

패치를 제공하려면 다음 지침을 따르십시오(Hub 설치가 꼭 필요한 것은 아니지만 권장됩니다).

0. Hub.github.com을 다운로드하여 설치하세요.
1. https://issues.apache.org/jira/projects/NUTCH/issues에서 수정을 위한 JIRA 문제를 제출하세요.
   • 문제 ID NUTCH-xxxx를 얻게 됩니다. 여기서 xxxx는 문제 ID입니다.
2. git clone https://github.com/apache/nutch.git
3. cd nutch
4. git checkout -b NUTCH-xxxx
5. 파일 편집(가능한 경우 테스트 사례를 포함해 보십시오)
6. git status (편집하려는 파일이 무엇인지 확인하세요)
7. 코드가 기본적으로 두 개의 공백 들여쓰기인 Nutch 코드 형식 지정 템플릿을 준수하는지 확인하세요.
8. git add <files>
9. git commit -m "fix for NUTCH-xxx contributed by <your username>"
10. hub fork (허브가 설치되지 않은 경우 Nutch Github 프로젝트 페이지의 "포크" 버튼을 사용하여 프로젝트를 포크할 수 있음)
11. git push -u <your git username> NUTCH-xxxx
12. hub pull-request (허브가 설치되지 않은 경우 포크에서 풀 요청을 생성하는 방법에 대한 지침을 따르십시오)

IDE 설정

식

Eclipse 프로젝트 파일 생성

 ant eclipse

기존 프로젝트 가져오기의 지침을 따르세요.

실행하기 전에 nutch-site.xml을 구성해야 합니다. http.agent.name 및 plugin.folders 속성을 추가했는지 확인하세요. 플러그인.폴더는 일반적으로 <project_root>/build/plugins 를 가리킵니다.

이제 Java 애플리케이션 구성을 생성하고 org.apache.nutch.crawl.Injector를 선택하고 두 경로를 인수로 추가합니다. 첫 번째는 creepdb 디렉터리이고, 두 번째는 인젝터가 URL을 읽을 수 있는 URL 디렉터리입니다. 이제 구성을 실행하십시오.

No plugins found on paths of property plugin.folders="plugins" 가 계속 표시되면 nutch-default.xml에서 플러그인.폴더를 업데이트하세요. 이는 빠른 수정 방법이지만 사용해서는 안 됩니다.

Intellij IDEA

먼저 IvyIDEA 플러그인을 설치하세요. 그런 다음 ant eclipse 실행하십시오. 이렇게 하면 Intellij가 다음 단계에서 프로젝트를 가져올 수 있도록 필요한 .classpath 및 .project 파일이 생성됩니다.

Intellij IDEA에서 파일 > 새로 만들기 > 기존 소스의 프로젝트를 선택합니다. nutch 홈 디렉토리를 선택하고 "열기"를 클릭하십시오.

"프로젝트 가져오기" 화면에서 "외부 모델에서 프로젝트 가져오기" 라디오 버튼을 선택하고 "Eclipse"를 선택합니다. "만들기"를 클릭하세요. 다음 화면에서 "Eclipse 프로젝트 디렉토리"는 이미 nutch 폴더로 설정되어 있어야 합니다. ".classpath 파일 근처에 모듈 파일 생성" 라디오 버튼을 선택된 상태로 둡니다. 다음 화면에서 "다음"을 클릭하세요. 프로젝트 SDK 화면에서 Java 11을 선택하고 "Create"를 클릭합니다. NB homebrew가 설치된 openjdk가 있는 Mac 사용자의 경우 libexec 아래 디렉토리( <openjdk11_directory>/libexec/openjdk.jdk/Contents/Home 를 사용해야 합니다.

프로젝트를 가져오면 "Ant 빌드 스크립트를 찾았습니다", "프레임워크가 감지되었습니다 - IvyIDEA 프레임워크가 감지되었습니다"라는 팝업이 표시됩니다. "가져오기"를 클릭하세요. 팝업이 표시되지 않으면 가끔 이런 일이 발생하므로 해당 단계를 다시 수행하는 것이 좋습니다. 프로젝트 구성을 요청하는 또 다른 Ant 팝업이 있습니다. "구성"을 클릭하지 마십시오.

코드 스타일을 가져오려면 Intellij IDEA > 환경 설정 > 편집기 > 코드 스타일 > Java로 이동하세요.

구성표 드롭다운에서 "프로젝트"를 선택합니다. 기어 아이콘을 클릭하고 "구성표 가져오기" > "Eclipse XML 파일"을 선택합니다.

eclipse-format.xml 파일을 선택하고 "열기"를 클릭하십시오. 다음 화면에서 "현재 구성표" 확인란을 선택하고 확인을 누르십시오.

Intellij IDEA에서 실행

Intellij에서 실행

• 실행/디버그 구성 열기
• "+"를 선택하여 새 구성을 생성하고 "응용 프로그램"을 선택합니다.
• "Main Class"의 경우 주요 기능이 있는 클래스를 입력합니다(예: org.apache.nutch.indexer.IndexingJob).
• "프로그램 인수"의 경우 클래스에 필요한 인수를 추가합니다. 작업에 대한 크롤링 실행 파일을 실행하여 이를 얻을 수 있습니다. 정규화된 경로를 사용하세요. (예: /Users/kamil/workspace/external/nutch/crawl/crawldb /Users/kamil/workspace/external/nutch/crawl/segments/20221222160141 -deleteGone)
• "작업 디렉터리"에 "/Users/kamil/workspace/external/nutch/runtime/local"을 입력합니다.
• "옵션 수정" > "클래스 경로 수정"을 선택하고 이전 단계의 "작업 디렉터리"에 속하는 구성 디렉터리(예: /Users/kamil/workspace/external/nutch/runtime/local/conf)를 추가합니다. 이렇게 하면 리소스 로더가 해당 구성을 로드할 수 있습니다.
• "옵션 수정" > "VM 옵션 추가"를 선택합니다. 필요한 VM 옵션을 추가합니다. 작업에 대한 크롤링 실행 파일을 실행하여 이를 얻을 수 있습니다(예: -Xmx4096m -Dhadoop.log.dir=/Users/kamil/workspace/external/nutch/runtime/local/logs -Dhadoop.log.file=hadoop.log - Dmapreduce.job.reduces=2 -Dmapreduce.reduce.speculative=false -Dmapreduce.map.speculative=false -Dmapreduce.map.output.compress=true)

참고 : 실행 시 최신 업데이트된 변경 사항을 가져오려면 ANT를 통해 빌드를 수동으로 트리거해야 합니다. 이는 Ant 빌드 시스템이 Intellij 빌드 시스템과 분리되어 있기 때문입니다.