NYC TLC Trip Data
1.0.0
Скрипты Python для загрузки, обработки и анализа более 3,69 миллиардов записей из набора данных о поездках Комиссии по такси и лимузинам Нью-Йорка (TLC) за период с 2009 года по настоящее время.
Сопровождающего этого репозитория можно нанять для консультационных проектов Python/Apache Spark/Apache Arrow/Data Engineering. Чтобы получить смету, отправьте электронное письмо на адрес [email protected] (для проектов любого размера и сложности).
Питон 3.8+
пип 24.2+
библиотека заданий 1.3+
число 1.24.+
ярроу 14.0+
панды 2.0+
геопанды 0.13+
jupyterlab>=4.0+
писпарк 3.5+
Клонировать этот репозиторий
git clone https://github.com/lykmapipo/NYC-TLC-Trip-Data.gitcd NYC-TLC-Trip-Data
Установите все зависимости
pip install -r требования.txt
Установите переменные среды (при использовании AWS S3)
экспортировать AWS_ACCESS_KEY_ID="<YOUR_AWS_ACCESS_KEY>"export AWS_SECRET_ACCESS_KEY="<YOUR_AWS_SECRET_ACCESS_KEY>"export AWS_REGION="us-east-1"
Чтобы извлечь метаданные поездок, запустите:
python Extract_trips_metadata.py -s web -t желтый -y 2024
Чтобы извлечь данные о зонах (ie taxi+_zone_lookup, taxi_zones etc.) , запустите:
python Extract_zones_data.py
Чтобы извлечь данные о поездках, запустите:
python Extract_trips_data.py -s web -t желтый -y 2024 -m 1 -m 2
Чтобы получить данные о поездках, запустите:
python sample_trips_data.py -s web -t желтый -y 2024 -m 1 -f csv
Будет неплохо, если вы сначала откроете проблему, чтобы мы могли знать, что происходит, а затем создадите форк этого репозитория и поделитесь своими идеями. Не забудьте добавить немного тестов того, какую ценность вы добавляете.
[email protected] или откройте задачу на GitHub.
Лицензия MIT (MIT)
Авторские права (c) lykmapipo и участники
Настоящим бесплатно любому лицу, получившему копию данного программного обеспечения и связанных с ним файлов документации («Программное обеспечение»), предоставляется разрешение на работу с Программным обеспечением без ограничений, включая, помимо прочего, права на использование, копирование, изменение, объединение. публиковать, распространять, сублицензировать и/или продавать копии Программного обеспечения, а также разрешать лицам, которым предоставлено Программное обеспечение, делать это при соблюдении следующих условий:
Вышеупомянутое уведомление об авторских правах и данное уведомление о разрешении должны быть включены во все копии или существенные части Программного обеспечения.
ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ПРЕДОСТАВЛЯЕТСЯ «КАК ЕСТЬ», БЕЗ КАКИХ-ЛИБО ГАРАНТИЙ, ЯВНЫХ ИЛИ ПОДРАЗУМЕВАЕМЫХ, ВКЛЮЧАЯ, НО НЕ ОГРАНИЧИВАЯСЬ, ГАРАНТИЯМИ ТОВАРНОЙ ЦЕННОСТИ, ПРИГОДНОСТИ ДЛЯ ОПРЕДЕЛЕННОЙ ЦЕЛИ И НЕНАРУШЕНИЯ ПРАВ. НИ ПРИ КАКИХ ОБСТОЯТЕЛЬСТВАХ АВТОРЫ ИЛИ ОБЛАДАТЕЛИ АВТОРСКИХ ПРАВ НЕ НЕСУТ ОТВЕТСТВЕННОСТИ ЗА ЛЮБЫЕ ПРЕТЕНЗИИ, УБЫТКИ ИЛИ ДРУГУЮ ОТВЕТСТВЕННОСТЬ, БУДЬ В ДЕЙСТВИЯХ ПО КОНТРАКТУ, ПРАВОНАРУШЕНИЮ ИЛИ ДРУГИМ ОБРАЗОМ, ВОЗНИКАЮЩИЕ ОТ, ИЗ ИЛИ В СВЯЗИ С ПРОГРАММНЫМ ОБЕСПЕЧЕНИЕМ ИЛИ ИСПОЛЬЗОВАНИЕМ ИЛИ ДРУГИМИ СДЕЛКАМИ, ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ.
