NYC TLC Trip Data
1.0.0
Python-Skripte zum Herunterladen, Verarbeiten und Analysieren von über 3,69 Milliarden Datensätzen aus dem Reisedatensatz der New York City Taxi and Limousine Commission (TLC) von 2009 bis heute.
Der Betreuer dieses Repositorys kann für Python/Apache Spark/Apache Arrow/Data Engineering-Beratungsprojekte eingestellt werden. Um einen Kostenvoranschlag zu erhalten, senden Sie eine E-Mail an [email protected] (für Projekte jeder Größe und Komplexität).
Python 3.8+
Pip 24,2+
joblib 1.3+
Numpy 1.24.+
Schafgarbe 14.0+
Pandas 2.0+
Geopandas 0.13+
jupyterlab>=4.0+
pyspark 3.5+
Klonen Sie dieses Repository
Git-Klon https://github.com/lykmapipo/NYC-TLC-Trip-Data.gitcd NYC-TLC-Trip-Data
Installieren Sie alle Abhängigkeiten
pip install -r Anforderungen.txt
Umgebungsvariablen festlegen (bei Verwendung von AWS S3)
export AWS_ACCESS_KEY_ID="<YOUR_AWS_ACCESS_KEY>"export AWS_SECRET_ACCESS_KEY="<YOUR_AWS_SECRET_ACCESS_KEY>"export AWS_REGION="us-east-1"
Führen Sie Folgendes aus, um Reisemetadaten zu extrahieren:
python extract_trips_metadata.py -s web -t gelb -y 2024
Führen Sie Folgendes aus, um Zonendaten zu extrahieren (ie taxi+_zone_lookup, taxi_zones etc.) :
Python extract_zones_data.py
Um Reisedaten zu extrahieren, führen Sie Folgendes aus:
python extract_trips_data.py -s web -t gelb -y 2024 -m 1 -m 2
Führen Sie zum Abtasten von Reisedaten Folgendes aus:
python sample_trips_data.py -s web -t gelb -y 2024 -m 1 -f csv
Es wäre schön, wenn Sie zuerst ein Problem eröffnen, damit wir wissen, was los ist, und dann dieses Repo forken und Ihre Ideen einbringen. Vergessen Sie nicht, ein paar Tests darüber hinzuzufügen, welchen Mehrwert Sie hinzufügen.
[email protected] oder öffnen Sie ein GitHub-Problem
Die MIT-Lizenz (MIT)
Copyright (c) lykmapipo & Mitwirkende
Hiermit wird jeder Person, die eine Kopie dieser Software und der zugehörigen Dokumentationsdateien (die „Software“) erhält, kostenlos die Erlaubnis erteilt, mit der Software ohne Einschränkung zu handeln, einschließlich und ohne Einschränkung der Rechte zur Nutzung, zum Kopieren, Ändern und Zusammenführen , Kopien der Software zu veröffentlichen, zu verteilen, unterzulizenzieren und/oder zu verkaufen und Personen, denen die Software zur Verfügung gestellt wird, dies zu gestatten, vorbehaltlich der folgenden Bedingungen:
Der obige Urheberrechtshinweis und dieser Genehmigungshinweis müssen in allen Kopien oder wesentlichen Teilen der Software enthalten sein.
DIE SOFTWARE WIRD „WIE BESEHEN“ ZUR VERFÜGUNG GESTELLT, OHNE JEGLICHE AUSDRÜCKLICHE ODER STILLSCHWEIGENDE GEWÄHRLEISTUNG, EINSCHLIESSLICH, ABER NICHT BESCHRÄNKT AUF DIE GEWÄHRLEISTUNG DER MARKTGÄNGIGKEIT, EIGNUNG FÜR EINEN BESTIMMTEN ZWECK UND NICHTVERLETZUNG. IN KEINEM FALL SIND DIE AUTOREN ODER COPYRIGHT-INHABER HAFTBAR FÜR JEGLICHE ANSPRÜCHE, SCHÄDEN ODER ANDERE HAFTUNG, WEDER AUS EINER VERTRAGLICHEN HANDLUNG, AUS HANDLUNG ODER ANDERWEITIG, DIE SICH AUS, AUS ODER IN VERBINDUNG MIT DER SOFTWARE ODER DER NUTZUNG ODER ANDEREN HANDELN IN DER SOFTWARE ERGEBEN SOFTWARE.
