djangocrawler

ジャンゴクローラー

幸運だと感じますか？

ご覧ください: http://mpszumowski.pythananywhere.com/index.html

Scrapy フレームワークを介してデータを収集および更新する django-rest アプリ

どのように機能するのでしょうか?

このアプリは、1) Scrapy を使用して世界の人口と貧困率に関するデータを抽出し、2) Django モデルを使用してデータを管理し、3) 単純な REST フレームワークと Ajax 駆動の Web ページを使用してそれらを表現し、4) 単純な描画機能を有効にするように設計されています。これは、(a) 「人」が「生まれる」たびに国を選択し、(b) この「人」が 1 日あたり 3.10 ドルの貧困率以下で暮らしているかどうかを描き、(c) これを毎日の最小限の食料と比較します。 料金。

スクリーンショット

ページの左上端にあるボタンを使用すると、人口に基づいて世界のランダムな国が描画されます。マーカーは、データが不完全な場合は黄色、それを超える人口セグメントに該当する場合は青、しきい値 1 日あたり 3.10 ドルを下回る場合は赤で強調表示されます。 1 日の食費が 3.10 ドルより高い場合、ランダム関数は正常に機能しますが、それより低い場合は、人口の飢餓に陥っている部分に自分がいる確率を下げるために修飾子が導入されます。

つまり、マーカーは確実に飢えているかどうかを示します。青に変わった場合でも、最小限の 2,400 kcal を食べることを選択した場合、予算の全額が食料に費やされる可能性が高くなりますが、スクレイピングされたデータの性質上、それは判断できません。

免責事項:これは統計の演習ではなく、scrapy および django フレームワークでの演習です。収集されたデータの正確性は、世界銀行と Numbeo.com の方法論に依存します。一方、データは連続的ではなく離散的な性質を持っているため、それらの並列は完全には正確ではありません。

出典:

国と人口のリスト: http://wdi.worldbank.org/table/2.1
毎日の食糧配給の最低金額: https://www.numbeo.com/food-prices/
貧困の閾値: http://wdi.worldbank.org/table/1.2

3.10 ドルの貧困指数は、一般に 1 配あたり 1 日あたり 3.00 ドルを下回らない食料価格と (通常の 1.90 ドルの基準とは対照的に) より適切な比較を提供します。

実装：

• ./manage.py runserver -->index.html を開く
• ブラウザのレベルからスクレイパーを実行するには、ポート 6800 で実行されている Scrapyd サーバーが必要です。

TODO:

• 現在進行中の武力紛争に関するデータを追加する
• 適切な権限を持つログインユーザーに対して実現機能を予約します。