Dieses Repository enthält alle Objekte, die mit der Speicherung, dem Laden und der Zusammenfassung von Datensätzen aus dem Caltrans Performance Measurement System (PeMS) verbunden sind.
PeMS-Datensätze stammen vom PeMS Data Clearinghouse unter http://pems.dot.ca.gov/. Für den Zugriff auf das PeMS Data Clearinghouse ist die Erstellung eines Benutzernamens und eines Passworts erforderlich.
Zum Herunterladen der Datensätze wird die Verwendung einer Batch-Downloader-Browsererweiterung empfohlen, da Caltrans die Verwendung programmatischer Tools für den Zugriff auf die Datensätze absichtlich verbietet. Stellen Sie nach dem Herunterladen der gewünschten Datensätze sicher, dass keine doppelten oder leeren Dateien vorhanden sind, da dies im Data Clearinghouse keine Seltenheit ist.
Das endgültige Ziel der PeMS-Datensätze ist eine interne SQL Server-Instanz, die in der Python-Datei main.py des Projekt-Python-Ordners angegeben ist.
Sobald die Datensätze heruntergeladen, im Projektdatenordner abgelegt und zum Laden in die SQL Server-Instanz bereit sind; Stellen Sie sicher, dass die von der Datei „pemsObjects.sql“ im Projekt-SQL-Ordner erstellten PeMS-SQL-Objekte in der gewünschten Zieldatenbank vorhanden sind. Wenn sie nicht vorhanden sind oder ein kompletter Neustart gewünscht ist, führen Sie pemsObjects.sql in der gewünschten Zieldatenbank aus, um alle PeMS-bezogenen SQL-Objekte zu löschen und zu erstellen.
Erstellen Sie den Python-Interpreter aus der bereitgestellten Datei „environment.yml“ im Python-Ordner des Projekts. Legen Sie den Interpreter als Standard-Python-Interpreter für dieses Projekt fest. Führen Sie die Python-Datei main.py aus dem Python-Ordner des Projekts aus. Es lädt nacheinander die gewünschten Datensätze aus dem Datenordner, extrahiert die erforderlichen TXT-Dateien aus den komprimierten GZ-Dateien und ZIP-Archiven und lädt sie direkt in die gewünschte SQL-Datenbank, die in der Python-Datei main.py angegeben ist.
Gespeicherte Prozeduren in der Datenbank mit den PeMS-Datensätzen bieten jährliche Aggregationen der PeMS-Datensätze auf Stationsebene für vom Benutzer festgelegte Zeitauflösungen. Weitere Informationen finden Sie auf der Wiki-Seite dieses GitHub für jeden PeMS-Datensatz.
Im Projektabgleichsordner ist ein Python-Mikrodienst enthalten, der ein vom Benutzer angegebenes Jahr der PeMS-Stationsmetadaten, die in eine interne SQL-Server-Instanz geladen wurden, mit einer vom Benutzer angegebenen E00-Datei des SANDAG-Autobahnnetzes abgleicht. Das Python-Skript kann außerhalb der Projektordnerstruktur ausgeführt werden und enthält eine separate Datei „environment.yml“ vom Hauptprojekt.
