hltb scraper

Howlongtobeat Scraper

Laba -laba web yang merangkak howlongtobeat untuk mengekstrak data game dan penyelesaian waktu.

Terima kasih banyak kepada Howlongtobeat karena telah memberikan layanan yang hebat dengan data yang kaya. Maaf tentang gesekan!

Tujuan

Howlongtobeat (HLTB) adalah situs web yang bagus untuk menemukan saat -saat yang dilakukan orang untuk menyelesaikan game. Sementara matang dengan data, sayangnya tidak memiliki API. Proyek ini menggosok semua game yang diketahui (pada saat penulisan) di situs web, mengekstraksi data game serta semua entri penyelesaian yang ada.

Proyek ini adalah bagian dari usaha saya ke dunia ilmu data.

Struktur

HLTB_Game_Spider di hltb-game.py menggosok semua game yang tersedia melalui fungsi pencarian situs web. HLTB_Completions_Spider di hltb-completions.py menggosok semua entri penyelesaian yang diterapkan pengguna untuk masing-masing game yang sama (meskipun beberapa tidak memiliki entri dan karenanya akan hilang).

HLTB_Game_Spider mengekstrak kolom (pasca-pembersihan):

• id - ID game dari situs web.
• title - Nama Game.
• main_story - Waktu penyelesaian rata -rata 'cerita utama' dalam beberapa jam.
• main_plus_extras - Waktu penyelesaian rata -rata 'utama + ekstra' dalam jam.
• completionist - Waktu penyelesaian rata -rata 'penyelesaian' dalam beberapa jam.
• all_styles - Waktu penyelesaian rata -rata 'semua gaya' dalam jam.
• coop - Waktu penyelesaian rata -rata 'co -op' dalam beberapa jam.
• versus - waktu penyelesaian rata -rata 'vs' dalam beberapa jam.
• type - Ketik entri untuk membedakan DLC/Expansion , Mod , dan ROM Hack dari entri game biasa.
• developers - Daftar terpisah Comma -Space dari semua pengembang entri.
• publishers - Daftar terpisah Comma -Space dari semua penerbit entri.
• platforms - Daftar Comma -Space terpisah dari semua platform entri tersedia.
• genres - Daftar genre yang dipisahkan koma untuk entri.
• release_na - Tanggal rilis di Amerika Utara (jika tersedia).
• release_eu - Tanggal rilis di Eropa (jika tersedia).
• release_jp - Tanggal rilis di Jepang (jika tersedia).

Kolom HLTB_Completions_Spider mengekstrak (pasca pembersihan):

• id - ID game yang dapat dirujuk silang dengan dataset di atas .
• type - Jenis Entri Penyelesaian ( Main Story , Main + Extras , Completionists , Co-Op Multiplayer , Speed Run - Any% , Speed Run - 100% ).
• platform - Platform Entri tertentu selesai.
• time - Waktu masuk dalam jam dan menit (misalnya, 2hr 50m ).