crawlee pythonダウンロード - crawlee pythonソースコードのダウンロード

crawlee python

パイソン

0.4.5

ダウンロード

Webスクレイピングとブラウザ自動化ライブラリ

Crawlee はクローリングとスクレイピングをエンドツーエンドでカバーし、信頼性の高いスクレーパーの構築を支援します。速い。

Crawlee for Python は早期導入者に公開されています。

クローラーはほとんど人間のように見え、デフォルト設定であっても最新のボット保護のレーダーの下を飛行します。 Crawlee は、技術的な詳細を気にすることなく、Web をクロールしてリンクを探し、データを収集し、機械可読形式で永続的に保存するためのツールを提供します。また、豊富な構成オプションのおかげで、デフォルト設定では不十分な場合でも、プロジェクトのニーズに合わせて Crawlee のほぼすべての側面を調整できます。

Crawlee プロジェクト Web サイトで完全なドキュメント、ガイド、例を参照してください。

また、Crawlee の TypeScript 実装も用意されており、これを探索してプロジェクトに利用できます。詳細については、GitHub 上の Crawlee for JS/TS の GitHub リポジトリにアクセスしてください。

インストール

詳細については、Crawlee ドキュメントの「はじめに」チュートリアルを参照することをお勧めします。

Crawlee は、 crawlee PyPI パッケージとして利用できます。コア機能は基本パッケージに含まれており、パッケージサイズと依存関係を最小限に抑えるための追加機能がオプションとして利用可能です。すべての機能を備えた Crawlee をインストールするには、次のコマンドを実行します。

pip install ' crawlee[all] '

次に、Playwright の依存関係をインストールします。

playwright install

Crawlee が正常にインストールされていることを確認します。

python -c ' import crawlee; print(crawlee.__version__) '

インストール手順の詳細については、ドキュメントのセットアップページを参照してください。

Crawlee CLI を使用する場合

Crawlee を使い始める最も簡単な方法は、Crawlee CLI を使用し、準備されたテンプレートの 1 つを選択することです。まず、Pipx がインストールされていることを確認します。

pipx --help

次に、CLI を実行して、使用可能なテンプレートから選択します。

pipx run crawlee create my-crawler

すでにcrawleeがインストールされている場合は、次のコマンドを実行してスピンアップできます。

crawlee create my-crawler

例

ここでは、Crawlee でさまざまなタイプのクローラーを使い始めるのに役立ついくつかの実践的な例を示します。各例では、単純な HTML ページを処理する必要があるか、JavaScript を多用するサイトと対話する必要があるかなど、特定の使用例に合わせてクローラーをセットアップして実行する方法を示します。クローラーを実行すると、現在の作業ディレクトリにstorage/ディレクトリが作成されます。

美しいスープクローラー

BeautifulSoupCrawler HTTP ライブラリを使用して Web ページをダウンロードし、HTML で解析されたコンテンツをユーザーに提供します。デフォルトでは、HTTP 通信にはHttpxHttpClient使用し、HTML の解析には BeautifulSoup を使用します。 HTML コンテンツからデータを効率的に抽出する必要があるプロジェクトに最適です。このクローラーはブラウザを使用しないため、非常に優れたパフォーマンスを発揮します。ただし、コンテンツを取得するためにクライアント側の JavaScript を実行する必要がある場合、これでは十分ではなく、 PlaywrightCrawler使用する必要があります。また、このクローラーを使用したい場合は、 beautifulsoup extra を使用してcrawlee必ずインストールしてください。

 import asyncio

from crawlee . beautifulsoup_crawler import BeautifulSoupCrawler , BeautifulSoupCrawlingContext


async def main () -> None :
    crawler = BeautifulSoupCrawler (
        # Limit the crawl to max requests. Remove or increase it for crawling all links.
        max_requests_per_crawl = 10 ,
    )

    # Define the default request handler, which will be called for every request.
    @ crawler . router . default_handler
    async def request_handler ( context : BeautifulSoupCrawlingContext ) -> None :
        context . log . info ( f'Processing { context . request . url } ...' )

        # Extract data from the page.
        data = {
            'url' : context . request . url ,
            'title' : context . soup . title . string if context . soup . title else None ,
        }

        # Push the extracted data to the default dataset.
        await context . push_data ( data )

        # Enqueue all links found on the page.
        await context . enqueue_links ()

    # Run the crawler with the initial list of URLs.
    await crawler . run ([ 'https://crawlee.dev' ])

if __name__ == '__main__' :
    asyncio . run ( main ())

劇作家クローラー

PlaywrightCrawler 、ヘッドレスブラウザを使用して Web ページをダウンロードし、データ抽出用の API を提供します。これは、ヘッドレスブラウザーを管理するために設計された自動化ライブラリである Playwright に基づいて構築されています。コンテンツ生成のためにクライアント側の JavaScript に依存する Web ページ、または JavaScript 駆動のコンテンツとの対話を必要とするタスクの取得に優れています。 JavaScript の実行が不要な場合、またはより高いパフォーマンスが必要なシナリオの場合は、 BeautifulSoupCrawlerの使用を検討してください。また、このクローラを使用したい場合は、 playwright extra を使用してcrawlee必ずインストールしてください。

 import asyncio

from crawlee . playwright_crawler import PlaywrightCrawler , PlaywrightCrawlingContext


async def main () -> None :
    crawler = PlaywrightCrawler (
        # Limit the crawl to max requests. Remove or increase it for crawling all links.
        max_requests_per_crawl = 10 ,
    )

    # Define the default request handler, which will be called for every request.
    @ crawler . router . default_handler
    async def request_handler ( context : PlaywrightCrawlingContext ) -> None :
        context . log . info ( f'Processing { context . request . url } ...' )

        # Extract data from the page.
        data = {
            'url' : context . request . url ,
            'title' : await context . page . title (),
        }

        # Push the extracted data to the default dataset.
        await context . push_data ( data )

        # Enqueue all links found on the page.
        await context . enqueue_links ()

    # Run the crawler with the initial list of requests.
    await crawler . run ([ 'https://crawlee.dev' ])


if __name__ == '__main__' :
    asyncio . run ( main ())

他の例

Crawlee ドキュメントの「サンプル」ページで、その他の幅広い使用例やデモンストレーションをご覧ください。

特徴

Web スクレイピングとクローリングに Crawlee が推奨されるのはなぜですか?

HTML パーサーを備えた単なるランダムな HTTP ライブラリではなく、Crawlee を使用するのはなぜでしょうか?

HTTP およびヘッドレスブラウザクロール用の統合インターフェイス。
利用可能なシステムリソースに基づいた自動並列クロール。
型ヒントを使用して Python で記述されており、DX (IDE オートコンプリート) を強化し、バグ (静的型チェック) を削減します。
エラーが発生した場合、またはブロックされた場合に自動的に再試行します。
統合されたプロキシローテーションとセッション管理。
構成可能なリクエストルーティング- URL を適切なハンドラーに送信します。
クロールするURL の永続キュー。
表形式のデータとファイルの両方を格納できるプラグイン可能なストレージ。
堅牢なエラー処理。

なぜスクレイピーではなくクローリーを使用するのでしょうか?

Asyncio ベース– 標準の Asyncio ライブラリを活用することで、Crawlee はより優れたパフォーマンスと他の最新の非同期ライブラリとのシームレスな互換性を実現します。
タイプヒント– 最新の Python で構築された新しいプロジェクトであり、開発者エクスペリエンスを向上させるための完全なタイプヒントをカバーしています。
シンプルな統合– Crawlee クローラーは通常の Python スクリプトであり、追加のランチャーエグゼキューターは必要ありません。この柔軟性により、クローラーを他のアプリケーションに直接統合できます。
状態の永続性– 中断中の状態の永続性をサポートし、問題後にパイプラインのスクレイピングを最初から再開する必要性を回避することで、時間とコストを節約します。
整理されたデータストレージ– 1 回のスクレイピング実行で複数の種類の結果を保存できます。いくつかの保存オプションを提供します (データセットとキー/値ストアを参照)。

Apify プラットフォーム上で実行

Crawlee はオープンソースでどこでも実行できますが、Apify によって開発されているため、Apify プラットフォーム上でのセットアップとクラウドでの実行が簡単です。 Crawlee を Apify プラットフォームにデプロイする方法の詳細については、Apify SDK Web サイトにアクセスしてください。