hltb scraper

Howlongtobeat Scraper

Веб -паук, который сканирует Howlongtobeat, чтобы извлечь данные игры и времени завершения.

Большое спасибо Howlongtobeat за предоставление такого отличного сервиса с такими богатыми данными. Извините за соскабливание!

Цель

Howlongtobeat (HLTB) - отличный веб -сайт для открытия времени, которые люди принимают для завершения игр. В то время как созревший с данными, к сожалению, отсутствует API. В этом проекте все известные игры (на момент написания) на веб -сайте извлечение игровых данных, а также все существующие записи о завершении.

Этот проект является частью моего предприятия в мир науки о данных.

Структура

HLTB_Game_Spider в hltb-game.py скрещивает все игры, доступные через функциональность поиска веб-сайта. HLTB_Completions_Spider в hltb-completions.py СКРЫВАРИТСЯ ВСЕ пользовательские записи о завершении для каждой из одной и той же игры (хотя у некоторых нет записей и, следовательно, будут отсутствовать).

Столбцы HLTB_Game_Spider

• id - Идентификатор игры с сайта.
• title - имя игры.
• main_story - Среднее время завершения «основной истории» в часы.
• main_plus_extras - Среднее время завершения «main + uppass» в часы.
• completionist - среднее время завершения «завершали» за часы.
• all_styles - Среднее время завершения «всех стилей» в часы.
• coop - Среднее время завершения «кооператив» в часы.
• versus - среднее время завершения «против» в часы.
• type - Тип записи, чтобы дифференцировать DLC/Expansion , Mod и ROM Hack от обычных игр.
• developers - пространство для запятой отдельно разделено на список всех разработчиков записи.
• publishers - Комплексное пространство разделяло список всех издателей записи.
• platforms - отдельный список запятой списка всех платформ, на которых доступна запись.
• genres - разделенный запятой список жанров для записи.
• release_na - дата релиза в Северной Америке (если таковые имеются).
• release_eu - дата выхода в Европе (если таковой имеется).
• release_jp - дата выхода в Японии (если доступно).

Столбцы HLTB_Completions_Spider

• id - идентификатор игры , который можно перекрестно ссылаться на приведенный выше набор данных .
• type - тип завершения входа ( Main Story , Main + Extras , Completionists , Co-Op Multiplayer , Speed Run - Any% , Speed Run - 100% ).
• platform - Платформа. Конкретная запись была завершена.
• time - время входа в часы и минуты (например, 2hr 50m ).