djangocrawler

Джангокраулер

Вы чувствуете себя удачливым?

Посмотрите: http://mpszumowski.pythonanywhere.com/index.html.

Приложение django-rest, которое собирает и обновляет данные с помощью Scrapy Framework.

Как это работает?

Это приложение предназначено для 1) извлечения данных о населении мира и уровне бедности с помощью Scrapy, 2) управления данными с помощью моделей Django, 3) выражения их с помощью простой среды отдыха и веб-страницы, управляемой ajax, и 4) включения простой функции рисования. который (а) выбирает страну каждый раз, когда «рождается человек», (б) показывает, живет ли этот «человек» ниже или выше уровня бедности, составляющего 3,10 доллара в день, и (в) сравнивает это с минимальной ежедневной стоимостью еды.

скриншот

Кнопка в верхнем левом углу страницы рисует случайную страну мира в зависимости от ее населения. Маркер выделяется желтым, если данные неполные, синим, если они касаются сегмента населения выше, и красным, если данные ниже порога в 3,10 доллара США в день. Если дневная стоимость еды превышает $3,10, случайная функция работает нормально, а если ниже, то вводится модификатор, снижающий вероятность оказаться в голодающей части населения.

Словом, маркер указывает, точно ли вы голодаете. Если он станет синим, вполне вероятно, что весь ваш бюджет будет потрачен на еду, если вы решите съесть минимальный рацион в 2400 ккал, но это невозможно определить в зависимости от характера собранных данных.

Отказ от ответственности: это упражнение не по статистике, а по фреймворкам Scrapy и Django. Точность собранных данных зависит от методологии Всемирного банка и Numbeo.com. С другой стороны, их сопоставление не совсем корректно, поскольку данные имеют дискретный, а не непрерывный характер.

Источники:

Список стран и населения: http://wdi.worldbank.org/table/2.1.
Минимальная сумма в долларах на дневной рацион питания: https://www.numbeo.com/food-prices/
Порог бедности: http://wdi.worldbank.org/table/1.2.

Индекс бедности в размере 3,10 доллара США обеспечивает лучшее сравнение (в отличие от обычного порога в 1,90 доллара США) с ценами на продукты питания, которые обычно не ниже 3,00 доллара США за паек в день.

Выполнение:

• ./manage.py runserver --> откройте index.html
• Сервер Scrapyd, работающий на порту 6800, необходим для запуска парсеров на уровне браузера.

ЗАДАЧА:

• добавить данные о продолжающихся вооруженных конфликтах
• зарезервируйте функцию актуализации для зарегистрированного пользователя с соответствующим разрешением