В этом репозитории хранятся все объекты, связанные с хранением, загрузкой и обобщением наборов данных из системы измерения производительности Caltrans (PeMS).
Наборы данных PeMS поступают из Центра обмена данными PeMS, расположенного по адресу http://pems.dot.ca.gov/. Для доступа к Центру обмена данными PeMS необходимо создать имя пользователя и пароль.
Для загрузки наборов данных рекомендуется использовать расширение браузера для пакетной загрузки, поскольку Caltrans намеренно запрещает использование программных инструментов для доступа к наборам данных. После загрузки интересующих наборов данных убедитесь, что нет дублирующих файлов или пустых файлов, поскольку это не редкость в Центре обмена информацией.
Конечным пунктом назначения наборов данных PeMS является внутренний экземпляр SQL-сервера, указанный в файле Python main.py в папке python проекта.
После того как наборы данных загружены, помещены в папку данных проекта и готовы к загрузке в экземпляр SQL-сервера; убедитесь, что объекты PeMS SQL, созданные файлом pemsObjects.sql в папке sql проекта, существуют в интересующей целевой базе данных. Если они не существуют или требуется полностью начать заново, запустите pemsObjects.sql в интересующей целевой базе данных, чтобы удалить и создать все объекты SQL, связанные с PeMS.
Создайте интерпретатор Python из предоставленного файла Environment.yml, расположенного в папке Python проекта. Установите интерпретатор в качестве интерпретатора Python по умолчанию, связанного с этим проектом. Запустите файл Python main.py из папки Python проекта. Он последовательно загрузит интересующие наборы данных из папки данных, извлекая необходимые txt-файлы из сжатых файлов gz и zip-архивов, и загрузит их непосредственно в интересующую базу данных SQL, указанную в файле Python main.py.
Хранимые процедуры в базе данных, содержащей наборы данных PeMS, обеспечивают ежегодное агрегирование наборов данных PeMS на уровне станции для заданного пользователем временного разрешения. Для получения дополнительной информации обратитесь к этой странице Wiki GitHub для каждого набора данных PeMS.
В папку сопоставления проекта включен микросервис Python, который соответствует указанному пользователем году метаданных станции PeMS, загруженных во внутренний экземпляр SQL-сервера, с указанным пользователем файлом e00 сети автомагистралей SANDAG. Скрипт Python можно запускать вне структуры папок проекта, и он включает отдельный файл Environment.yml из основного проекта.
