djangocrawler

Djangocrawler

Vous sentez-vous chanceux ?

Jetez un œil : http://mpszumowski.pythonanywhere.com/index.html

Une application Django-rest qui collecte et met à jour les données via un framework Scrapy

Comment ça marche ?

Cette application est conçue pour 1) extraire des données sur la population mondiale et les taux de pauvreté à l'aide de Scrapy, 2) gérer les données à l'aide de modèles Django, 3) les exprimer au moyen d'un cadre de repos simple et d'une page Web pilotée par Ajax et 4) activer une fonction de dessin simple. qui (a) sélectionne un pays à chaque fois qu'« une personne » « naît », (b) détermine si cette « personne » vit en dessous ou au-dessus du taux de pauvreté de 3,10 $/jour et (c) compare cela avec le coût alimentaire quotidien minimal.

capture d'écran

Le bouton en haut à gauche de la page dessine un pays aléatoire dans le monde en fonction de sa population. Le marqueur est surligné en jaune si les données sont incomplètes, en bleu si elles touchent le segment de population supérieur et en rouge si elles sont inférieures au seuil de 3,10 $/jour. Si le coût alimentaire quotidien est supérieur à 3,10 dollars, la fonction aléatoire fonctionne normalement, mais s'il est inférieur, un modificateur est introduit pour réduire la probabilité de se retrouver dans la partie affamée de la population.

En un mot, le marqueur indique si vous mourez sûrement de faim. S'il devient bleu, il est toujours probable que la totalité de votre budget serait dépensé en nourriture si vous choisissiez de manger la ration minimale de 2 400 kcal, mais cela est indéterminable de par la nature des données récupérées.

Avertissement : Il ne s'agit pas d'un exercice de statistiques, mais de frameworks Scrapy et Django. L'exactitude des données collectées repose sur la méthodologie de la Banque mondiale et de Numbeo.com. Leur juxtaposition, en revanche, n'est pas tout à fait correcte, car les données ont un caractère discret plutôt que continu.

Sources :

Liste des pays et de la population : http://wdi.worldbank.org/table/2.1
Montant minimum en $ pour la ration alimentaire quotidienne : https://www.numbeo.com/food-prices/
Seuils de pauvreté : http://wdi.worldbank.org/table/1.2

L'indice de pauvreté de 3,10 dollars offre une meilleure comparaison (contrairement au seuil habituel de 1,90 dollars) avec les prix des denrées alimentaires qui ne sont généralement pas inférieurs à 3,00 dollars/ration/jour.

Mise en œuvre:

• ./manage.py runserver --> ouvrir index.html
• Le serveur Scrapyd fonctionnant sur le port 6800 est nécessaire pour exécuter les scrapers depuis le niveau du navigateur.

FAIRE:

• ajouter des données concernant les conflits armés en cours
• réserver la fonction d'actualisation à l'utilisateur connecté avec l'autorisation appropriée