NYC TLC Trip Data
1.0.0
Scripts de Python para descargar, procesar y analizar más de 3,69 mil millones de registros del conjunto de datos de datos de registros de viajes de la Comisión de Taxis y Limusinas de la ciudad de Nueva York (TLC), que abarca desde 2009 hasta el presente.
El mantenedor de este repositorio está disponible para contratar para proyectos de consultoría de Python/Apache Spark/Apache Arrow/Data Engineering. Para obtener una estimación de costos, envíe un correo electrónico a [email protected] (para proyectos de cualquier tamaño o complejidad).
Pitón 3.8+
pipa 24.2+
biblioteca de trabajo 1.3+
numeroso 1.24.+
pyarrow 14.0+
pandas 2.0+
geopandas 0.13+
jupyterlab>=4.0+
pyspark 3.5+
Clonar este repositorio
clon de git https://github.com/lykmapipo/NYC-TLC-Trip-Data.gitcd NYC-TLC-Trip-Data
Instalar todas las dependencias
instalación de pip -r requisitos.txt
Establecer variables de entorno (si usa AWS S3)
exportar AWS_ACCESS_KEY_ID="<YOUR_AWS_ACCESS_KEY>"exportar AWS_SECRET_ACCESS_KEY="<YOUR_AWS_SECRET_ACCESS_KEY>"exportar AWS_REGION="us-east-1"
Para extraer metadatos de viajes, ejecute:
python extract_trips_metadata.py -s web -t amarillo -y 2024
Para extraer datos de zonas (ie taxi+_zone_lookup, taxi_zones etc.) , ejecute:
python extraer_zonas_data.py
Para extraer datos de viajes, ejecute:
python extract_trips_data.py -s web -t amarillo -y 2024 -m 1 -m 2
Para muestrear datos de viajes, ejecute:
Python sample_trips_data.py -s web -t amarillo -y 2024 -m 1 -f csv
Sería bueno si primero abre un problema para que podamos saber qué está pasando y luego bifurque este repositorio e introduzca sus ideas. No olvide agregar algunas pruebas del valor que está agregando.
[email protected], o abre una incidencia de GitHub
La licencia MIT (MIT)
Copyright (c) lykmapipo y colaboradores
Por el presente se otorga permiso, sin cargo, a cualquier persona que obtenga una copia de este software y los archivos de documentación asociados (el "Software"), para operar con el Software sin restricciones, incluidos, entre otros, los derechos de uso, copia, modificación, fusión. , publicar, distribuir, sublicenciar y/o vender copias del Software, y permitir que las personas a quienes se les proporciona el Software lo hagan, sujeto a las siguientes condiciones:
El aviso de derechos de autor anterior y este aviso de permiso se incluirán en todas las copias o partes sustanciales del Software.
EL SOFTWARE SE PROPORCIONA “TAL CUAL”, SIN GARANTÍA DE NINGÚN TIPO, EXPRESA O IMPLÍCITA, INCLUYENDO, ENTRE OTRAS, LAS GARANTÍAS DE COMERCIABILIDAD, IDONEIDAD PARA UN PROPÓSITO PARTICULAR Y NO INFRACCIÓN. EN NINGÚN CASO LOS AUTORES O TITULARES DE DERECHOS DE AUTOR SERÁN RESPONSABLES DE NINGÚN RECLAMO, DAÑO U OTRA RESPONSABILIDAD, YA SEA EN UNA ACCIÓN CONTRACTUAL, AGRAVIO O DE OTRA MANERA, QUE SURJA DE, FUERA DE O EN RELACIÓN CON EL SOFTWARE O EL USO U OTRAS NEGOCIOS EN EL SOFTWARE.
