NYC TLC Trip Data
1.0.0
Scripts Python para baixar, processar e analisar mais de 3,69 bilhões de registros do conjunto de dados de registros de viagem da New York City Taxi and Limousine Commission (TLC), abrangendo de 2009 até o presente.
O mantenedor deste repositório está disponível para contratação para projetos de consultoria em Python/Apache Spark/Apache Arrow/Data Engineering. Para obter uma estimativa de custos, envie email para [email protected] (para projetos de qualquer tamanho ou complexidade).
Python 3.8+
pip 24,2+
joblib 1.3+
entorpecido 1.24.+
Pyarrow 14.0+
pandas 2.0+
geopandas 0.13+
jupyterlab>=4,0+
Pyspark 3.5+
Clonar este repositório
clone git https://github.com/lykmapipo/NYC-TLC-Trip-Data.gitcd NYC-TLC-Trip-Data
Instale todas as dependências
pip instalar -r requisitos.txt
Definir variáveis de ambiente (se estiver usando AWS S3)
exportar AWS_ACCESS_KEY_ID="<YOUR_AWS_ACCESS_KEY>"exportar AWS_SECRET_ACCESS_KEY="<YOUR_AWS_SECRET_ACCESS_KEY>"exportar AWS_REGION="us-east-1"
Para extrair metadados de viagens, execute:
python extract_trips_metadata.py -s web -t amarelo -y 2024
Para extrair dados de zonas (ie taxi+_zone_lookup, taxi_zones etc.) , execute:
python extract_zones_data.py
Para extrair dados de viagens, execute:
python extract_trips_data.py -s web -t amarelo -y 2024 -m 1 -m 2
Para obter amostras de dados de viagens, execute:
python sample_trips_data.py -s web -t amarelo -y 2024 -m 1 -f csv
Será bom se você abrir um problema primeiro para que possamos saber o que está acontecendo, então, bifurque este repositório e apresente suas ideias. Não se esqueça de adicionar alguns testes sobre o valor que você está adicionando.
[email protected] ou abra um problema no GitHub
A Licença MIT (MIT)
Copyright (c) lykmapipo e colaboradores
É concedida permissão, gratuitamente, a qualquer pessoa que obtenha uma cópia deste software e dos arquivos de documentação associados (o “Software”), para negociar o Software sem restrições, incluindo, sem limitação, os direitos de usar, copiar, modificar, mesclar , publicar, distribuir, sublicenciar e/ou vender cópias do Software e permitir que as pessoas a quem o Software seja fornecido o façam, sujeito às seguintes condições:
O aviso de direitos autorais acima e este aviso de permissão serão incluídos em todas as cópias ou partes substanciais do Software.
O SOFTWARE É FORNECIDO “NO ESTADO EM QUE SE ENCONTRA”, SEM GARANTIA DE QUALQUER TIPO, EXPRESSA OU IMPLÍCITA, INCLUINDO, MAS NÃO SE LIMITANDO ÀS GARANTIAS DE COMERCIALIZAÇÃO, ADEQUAÇÃO A UM DETERMINADO FIM E NÃO VIOLAÇÃO. EM HIPÓTESE ALGUMA OS AUTORES OU DETENTORES DE DIREITOS AUTORAIS SERÃO RESPONSÁVEIS POR QUALQUER RECLAMAÇÃO, DANOS OU OUTRA RESPONSABILIDADE, SEJA EM UMA AÇÃO DE CONTRATO, ATO ILÍCITO OU DE OUTRA FORMA, DECORRENTE DE, OU EM CONEXÃO COM O SOFTWARE OU O USO OU OUTRAS NEGOCIAÇÕES NO SOFTWARE.
