weiboSpider
1.0.0
このプログラムは、 1人以上のSina Weibo ユーザー (Hu Ge、Dilraba、Guo Biting など) のデータを継続的にクロールし、結果の情報をファイルまたはデータベースに書き込むことができます。書き込まれた情報には、ユーザーの Weibo のほぼすべてのデータが含まれており、ユーザー情報とWeibo 情報の2 つのカテゴリが含まれます。内容が多すぎるため、ここでは詳しく説明しません。詳細については、取得されたフィールドを参照してください。ユーザー情報のみが必要な場合は、Weibo ユーザー情報のみをクロールする機能を設定できます。このプログラムは Weibo にアクセスするために Cookie を設定する必要があります。Cookie の取得方法については後述します。 Cookieを設定したくない場合は、同様の機能を備えたCookieなしバージョンを使用できます。
クロール結果はファイルとデータベースに書き込むことができます。具体的な書き込みファイルの種類は次のとおりです。
Weibo からの写真やビデオのダウンロードもサポートしています。具体的にダウンロード可能なファイルは次のとおりです。
[目次]
このセクションでは、クロールされたフィールド情報について説明します。Cookie なしのバージョンと区別するために、両方でクロールされる情報を以下に示します。情報が Cookie なしバージョンに固有の場合は、Cookie なしとしてマークされ、マークされていない情報は両方に共通です。
プログラムの具体的な実行結果を知りたい場合は、Dilireba の Weibo をクロールする例を紹介し、結果ファイルのスクリーンショットを添付したサンプル ドキュメントを参照してください。
このプログラムには 2 つのバージョンがあり、現在表示されているのは python3 バージョンで、もう 1 つは python2 バージョンです。python2 バージョンは python2 ブランチにあります。現在、私たちは主に python3 バージョンを開発しており、新機能の開発とバグ修正が含まれています。python2 バージョンはバグ修正のみをサポートしています。 python3をお使いの方は現行バージョンを、python2をお使いの方はpython2バージョンをご利用いただくことをお勧めします。 本取扱説明書はpython3版を対象としています。
このプログラムは 2 つのインストール方法を提供します。1 つはソース コード インストール、もう 1 つはpip インストールで、どちらもまったく同じ機能を持ちます。ソース コードを変更する必要がある場合は、最初の方法を使用することをお勧めします。それ以外の場合は、任意のインストール方法を選択できます。
$ git clone https://github.com/dataabc/weiboSpider.git
$ cd weiboSpider
$ pip install -r requirements.txt$ python3 -m pip install weibo-spiderプログラム設定について詳しくは、プログラム設定のドキュメントを参照してください。
ソース コードをインストールするユーザーは、weiboSpider ディレクトリで次のコマンドを実行できます。 pip をインストールするユーザーは、書き込み権限のある任意のディレクトリで次のコマンドを実行できます。
$ python3 -m weibo_spider初回実行時はカレントディレクトリにconfig.json設定ファイルが自動作成されます。設定後、同じコマンドを実行してWeiboを取得します。
すでに config.json ファイルがある場合は、config_path パラメーターを使用して config.json パスを構成し、プログラムを実行することもできます。コマンド ラインは次のとおりです。
$ python3 -m weibo_spider --config_path= " config.json "ファイル (csv、txt、json、画像、ビデオ) の保存パスを指定する場合は、output_dir パラメーターを使用して設定できます。ファイルを /home/weibo/ ディレクトリに保存する場合は、次のコマンドを実行できます。
$ python3 -m weibo_spider --output_dir= " /home/weibo/ "コマンドラインから user_id を入力する場合は、パラメータ u を使用します。各 user_id をカンマで区切って入力できます。これらの user_id の間に重複する user_id がある場合、プログラムは重複したものを自動的に削除します。コマンドラインは次のとおりです。
$ python3 -m weibo_spider --u= " 1669879400,1223178222 "このプログラムは、user_id が 1669879400 と 1223178222 である Weibo ユーザーを取得します。user_id の取得方法については後ほど説明します。このメソッドのすべての user_id は、config.json の think_date と end_date を使用して設定され、クロールの時間範囲はそれらの値を変更することで制御できます。 config.json の user_id_list がファイル パスの場合、各コマンド ラインの user_id はファイルに自動的に保存され、since_date がパスでない場合、user_id は現在のディレクトリの user_id_list.txt に保存されます。と自動的に更新されます。現在のディレクトリに user_id_list.txt が存在しない場合は、プログラムが自動的に作成します。
このセクションはオプションであり、プログラムをカスタマイズしたり、新しい機能を追加したりする必要がない場合は無視できます。
このプログラムのメイン コードは weibo_spider.py ファイルにあります。プログラムの本体は Spider クラスです。デフォルトの呼び出しコードは次のとおりです。
config = get_config ()
wb = Spider ( config )
wb . start () # 爬取微博信息ユーザーは、必要に応じて Spider クラスを呼び出したり変更したりできます。このプログラムを実行すると、多くの情報を得ることができます。
wb.weibo : 上記の情報を除き、wb.weibo には、 Weibo ID 、 Weibo テキスト、元の画像 URL 、公開場所、公開時間、公開ツール、いいね数、リツイート数、リツイート数など、クロールされたすべての Weibo 情報が含まれます。コメントなどすべての Weibo (オリジナル + 転送) をクロールしている場合、上記の情報に加えて、転送された Weibo の元の画像 URL 、オリジナル Weibo であるかどうかなども含まれます。 wb.weibo は、クロールされたすべての Weibo 情報を含むリストです。 wb.weibo[0] は最初にクロールされた Weibo、wb.weibo[1] は 2 番目にクロールされた Weibo などです。 filter=1 の場合、wb.weibo[0] が最初にクロールされたオリジナルWeibo になります。 wb.weibo[0]['id'] は最初の Weibo の ID、wb.weibo[0]['content'] は最初の Weibo のテキスト、wb.weibo[0]['publish_time' ] はWeibo の最初の投稿の公開時間など、他にも多くの情報がありますが、詳細は説明しません。具体的な使用方法については、下の「詳細」をクリックしてください。
対象の Weibo ユーザーが Weibo 上に存在する場合、次のようになります。
プログラムが一定期間ごとに自動的にクロールするようにし、クロールされるコンテンツが新しく追加されたコンテンツ (既に取得されている Weibo を除く) である場合は、「Weibo を定期的に自動的にクロールする」にチェックを入れてください。
Cookie の取得方法については、Cookie のドキュメントを参照してください。
user_id を取得する方法については、1 人以上の Weibo ユーザーの user_id を取得する方法が説明されている user_id ドキュメントを参照してください。
プログラムの実行中にエラーが発生した場合は、最も一般的な問題と解決策が記載された FAQ ページを表示できます。発生したエラーが FAQ にない場合は、問題を送信してサポートを求めることができます。喜んで回答させていただきます。
このプロジェクトは、論文執筆や研究などの非営利プロジェクトに必要なデータを提供するために Weibo データを取得します。学術研究資料とは、プログラムを論文や研究等で利用したものであり、所有者の許可を得て掲載しています。一部のプライバシー関連の説明については所有者と協議しており、説明では所有者が表示を許可した部分のみを紹介しています。一部の情報の所有者が以前に表示することに同意し、文書に記載したが、現在は表示したくない場合は、電子メール（[email protected]）またはメッセージで私に知らせてください。関連する情報は削除します。情報。同時に、このプロジェクトを利用して論文を書いたり、その他の学術研究を行ったりする友人も、その研究結果を学術研究文書に掲載することを歓迎します。これは完全に任意です。
便宜上、このプロジェクトの bibtex エントリは次のように提供されています。
@misc{weibospider2020,
author = {Lei Chen, Zhengyang Song, schaepher, minami9, bluerthanever, MKSP2015, moqimoqidea, windlively, eggachecat, mtuwei, codermino, duangan1},
title = {{Weibo Spider}},
howpublished = {url{https://github.com/dataabc/weiboSpider}},
year = {2020}
}
このプロジェクトへの貢献を歓迎します。貢献には、コードを送信すること、問題を通じて提案 (新機能、改善計画など) を行うこと、または課題を通じてプロジェクトのバグや欠点などについて知らせることがあります。具体的な貢献方法については、「これに貢献する」を参照してください。プロジェクト。
このプロジェクトに貢献してくれたすべての友人に感謝します。貢献者の詳細については、貢献者ページをご覧ください。
