NYC TLC Trip Data

NYC-TLC-Voyage-Données

Scripts Python pour télécharger, traiter et analyser plus de 3,69 milliards d'enregistrements de l'ensemble de données de données de voyage de la New York City Taxi and Limousine Commission (TLC), allant de 2009 à aujourd'hui.

Le responsable de ce référentiel est disponible à la location pour des projets de conseil Python/Apache Spark/Apache Arrow/Data Engineering. Pour obtenir une estimation des coûts, envoyez un e-mail à [email protected] (pour les projets de toute taille ou complexité).

Exigences

• Python3.8+

• pépin 24,2+

• joblib 1.3+

• numpy 1.24.+

• flèche 14.0+

• pandas 2.0+

• géopandas 0.13+

• jupyterlab>=4.0+

• pyspark 3.5+

Usage

• Cloner ce référentiel

 clone git https://github.com/lykmapipo/NYC-TLC-Trip-Data.gitcd NYC-TLC-Trip-Data

• Installer toutes les dépendances

 pip install -r exigences.txt

• Définir les variables d'environnement (si vous utilisez AWS S3)

 export AWS_ACCESS_KEY_ID="<YOUR_AWS_ACCESS_KEY>"export AWS_SECRET_ACCESS_KEY="<YOUR_AWS_SECRET_ACCESS_KEY>"export AWS_REGION="us-east-1"

• Pour extraire les métadonnées des voyages, exécutez :

 python extract_trips_metadata.py -s web -t jaune -y 2024

• Pour extraire les données des zones (ie taxi+_zone_lookup, taxi_zones etc.) , exécutez :

 python extract_zones_data.py

• Pour extraire les données des trajets, exécutez :

 python extract_trips_data.py -s web -t jaune -y 2024 -m 1 -m 2

• Pour échantillonner les données des trajets, exécutez :

 python sample_trips_data.py -s web -t jaune -y 2024 -m 1 -f csv

Contribuer

Ce serait bien si vous ouvrez d'abord un numéro afin que nous puissions savoir ce qui se passe, puis créez ce dépôt et exposez vos idées. N'oubliez pas d'ajouter un ou plusieurs tests de la valeur que vous ajoutez.

Questions/Problèmes/Contacts

[email protected], ou ouvrez un ticket GitHub

Licence

La licence MIT (MIT)

Copyright (c) lykmapipo et contributeurs

L'autorisation est par la présente accordée, gratuitement, à toute personne obtenant une copie de ce logiciel et des fichiers de documentation associés (le « Logiciel »), d'utiliser le Logiciel sans restriction, y compris, sans limitation, les droits d'utilisation, de copie, de modification, de fusion. , publier, distribuer, accorder des sous-licences et/ou vendre des copies du Logiciel, et permettre aux personnes à qui le Logiciel est fourni de le faire, sous réserve des conditions suivantes :

L'avis de droit d'auteur ci-dessus et cet avis d'autorisation doivent être inclus dans toutes les copies ou parties substantielles du logiciel.

LE LOGICIEL EST FOURNI « TEL QUEL », SANS GARANTIE D'AUCUNE SORTE, EXPRESSE OU IMPLICITE, Y COMPRIS MAIS SANS LIMITATION LES GARANTIES DE QUALITÉ MARCHANDE, D'ADAPTATION À UN USAGE PARTICULIER ET DE NON-VIOLATION. EN AUCUN CAS LES AUTEURS OU LES TITULAIRES DES DROITS D'AUTEUR NE SERONT RESPONSABLES DE TOUTE RÉCLAMATION, DOMMAGES OU AUTRE RESPONSABILITÉ, QUE CE SOIT DANS UNE ACTION CONTRACTUELLE, DÉLIT OU AUTRE, DÉCOULANT DE, DE OU EN RELATION AVEC LE LOGICIEL OU L'UTILISATION OU D'AUTRES TRANSACTIONS DANS LE LOGICIEL.