ホーム>プログラミング関連>JAVAソースコード
ダウンロード

Apache Nutch README

Nutch に関する最新情報については、次の Web サイトをご覧ください。

https://nutch.apache.org/

および私たちのウィキは次のとおりです。

https://cwiki.apache.org/confluence/display/NUTCH/Home

Nutch の使用を開始するには、チュートリアルをお読みください。

https://cwiki.apache.org/confluence/display/NUTCH/NutchTutorial

貢献する

パッチを提供するには、次の手順に従ってください (Hub のインストールは必須ではありませんが、推奨されることに注意してください)。

  1. Hub.github.com をダウンロードしてインストールします
  2. https://issues.apache.org/jira/projects/NUTCH/issues で修正のための JIRA 問題をファイルします。
    • 問題 ID NUTCH-xxxx が表示されます。xxxx は問題 ID です。
  3. git clone https://github.com/apache/nutch.git
  4. cd nutch
  5. git checkout -b NUTCH-xxxx
  6. ファイルを編集します (可能であればテストケースを含めてみてください)
  7. git status (編集する予定のファイルが表示されていることを確認してください)
  8. コードが Nutch コードフォーマット テンプレート (基本的に 2 つのスペース インデント) に準拠していることを確認してください。
  9. git add <files>
  10. git commit -m "fix for NUTCH-xxx contributed by <your username>"
  11. hub fork (ハブがインストールされていない場合は、Nutch Github プロジェクト ページの [フォーク] ボタンを使用してプロジェクトをフォークできます)
  12. git push -u <your git username> NUTCH-xxxx
  13. hub pull-request (ハブがインストールされていない場合は、フォークからプル リクエストを作成する手順に従ってください)

IDEのセットアップ

日食

Eclipseプロジェクトファイルを生成する

 ant eclipse

そして、「既存のプロジェクトのインポート」の指示に従います。

実行する前に、nutch-site.xml を構成する必要があります。 http.agent.nameプロパティとplugin.foldersプロパティを追加していることを確認してください。 plugin.folders は通常、 <project_root>/build/pluginsを指します。

次に、Java アプリケーション構成を作成し、org.apache.nutch.crawl.Injector を選択し、引数として 2 つのパスを追加します。最初の 1 つは、crawldb ディレクトリで、2 番目のディレクトリは、インジェクターが URL を読み取ることができる URL ディレクトリです。次に、構成を実行します。

それでもNo plugins found on paths of property plugin.folders="plugins"メッセージが表示される場合は、nutch-default.xml 内の plugin.folders を更新してください。これは簡単な修正ですが、使用しないでください。

インテリジアイデア

まず、IvyIDEAプラグインをインストールします。次に、 ant eclipse実行します。これにより、Intellij が次のステップでプロジェクトをインポートできるように、必要な .classpath ファイルと .project ファイルが作成されます。

Intellij IDEA で、[ファイル] > [新規作成] > [既存のソースからのプロジェクト] を選択します。 Nutchのホームディレクトリを選択し、「開く」をクリックします。

「プロジェクトのインポート」画面で「外部モデルからプロジェクトをインポート」ラジオボタンを選択し、「Eclipse」を選択します。 「作成」をクリックします。次の画面では、「Eclipse プロジェクト ディレクトリ」がすでに Nutch フォルダーに設定されているはずです。 「.classpath ファイルの近くにモジュール ファイルを作成する」ラジオ ボタンは選択したままにしておきます。次の画面で「次へ」をクリックします。プロジェクトSDK画面でJava 11を選択し、「作成」をクリックします。注意: homebrew がインストールされた openjdk を搭載した Mac を使用している場合は、 libexecの下のディレクトリを使用する必要があります: <openjdk11_directory>/libexec/openjdk.jdk/Contents/Home 。

プロジェクトがインポートされると、「Ant ビルド スクリプトが見つかりました」、「フレームワークが検出されました - IvyIDEA Framework が検出されました」というポップアップが表示されます。 「インポート」をクリックします。ポップアップが表示されない場合は、この問題が時々発生するため、手順をもう一度実行することをお勧めします。プロジェクトの構成を求める別の Ant ポップアップがあります。 「設定」をクリックしないでください。

コード スタイルをインポートするには、[Intellij IDEA] > [設定] > [エディター] > [コード スタイル] > [Java] に移動します。

[スキーム] ドロップダウンで [プロジェクト] を選択します。歯車アイコンをクリックし、「スキームのインポート」 > 「Eclipse XML ファイル」を選択します。

eclipse-format.xml ファイルを選択し、「開く」をクリックします。次の画面で「現在のスキーム」チェックボックスをオンにして、「OK」をクリックします。

Intellij IDEA での実行

Intellij での実行

  • 実行/デバッグ構成を開く
  • 「+」を選択して新しい構成を作成し、「アプリケーション」を選択します
  • 「メインクラス」には、メイン関数を持つクラスを入力します (例: org.apache.nutch.indexer.IndexingJob)。
  • 「プログラムの引数」にクラスに必要な引数を追加します。これらは、ジョブのクロール実行可能ファイルを実行することで取得できます。完全修飾パスを使用してください。 (例: /Users/kamil/workspace/external/nutch/crawl/crawldb /Users/kamil/workspace/external/nutch/crawl/segments/20221222160141 -deleteGone)
  • 「作業ディレクトリ」に「/Users/kamil/workspace/external/nutch/runtime/local」と入力します。
  • 「オプションの変更」 > 「クラスパスの変更」を選択し、前のステップの「作業ディレクトリ」に属する構成ディレクトリを追加します (例: /Users/kamil/workspace/external/nutch/runtime/local/conf)。これにより、リソース ローダーがその構成をロードできるようになります。
  • [オプションの変更] > [VM オプションの追加] を選択します。必要な VM オプションを追加します。これらは、ジョブのクロール実行可能ファイルを実行することで取得できます (例: -Xmx4096m -Dhadoop.log.dir=/Users/kamil/workspace/external/nutch/runtime/local/logs -Dhadoop.log.file=hadoop.log -) Dmapreduce.job.reduces=2 -Dmapreduce.reduce.speculative=false -Dmapreduce.map.speculative=false -Dmapreduce.map.output.compress=true)

注: 実行時に最新の更新された変更を取得するには、ANT を介してビルドを手動でトリガーする必要があります。これは、ant ビルド システムが Intellij ビルド システムとは別個であるためです。

拡大する
追加情報
関連アプリ
おすすめ
関連情報 すべて