Ce référentiel héberge tous les objets associés au stockage, au chargement et à la synthèse des ensembles de données du système de mesure des performances Caltrans (PeMS).
Les ensembles de données PeMS proviennent du PeMS Data Clearinghouse situé à l'adresse http://pems.dot.ca.gov/. Pour accéder au PeMS Data Clearinghouse, il est nécessaire de créer un nom d'utilisateur et un mot de passe.
Pour télécharger les ensembles de données, il est recommandé d'utiliser une extension de navigateur de téléchargement par lots, car Caltrans interdit délibérément l'utilisation d'outils de programmation pour accéder aux ensembles de données. Une fois les ensembles de données d'intérêt téléchargés, assurez-vous qu'il n'y a pas de fichiers en double ou de fichiers vides, car cela n'est pas rare dans le Data Clearinghouse.
La destination finale des ensembles de données PeMS est une instance de serveur SQL interne spécifiée dans le fichier Python main.py du dossier python du projet.
Une fois les ensembles de données téléchargés, placés dans le dossier de données du projet et prêts à être chargés dans l'instance du serveur SQL ; assurez-vous que les objets PeMS SQL créés par le fichier pemsObjects.sql dans le dossier sql du projet existent dans la base de données cible qui vous intéresse. S'ils n'existent pas ou si vous souhaitez recommencer complètement, exécutez pemsObjects.sql dans la base de données cible qui vous intéresse pour supprimer et créer tous les objets SQL liés à PeMS.
Créez l'interpréteur Python à partir du fichier environnement.yml fourni situé dans le dossier Python du projet. Définissez l'interpréteur comme interpréteur Python par défaut associé à ce projet. Exécutez le fichier Python main.py à partir du dossier python du projet. Il chargera séquentiellement les ensembles de données d'intérêt du dossier de données, extraira les fichiers txt nécessaires des fichiers gz compressés et des archives zip, et les chargera directement dans la base de données SQL d'intérêt spécifiée dans le fichier Python main.py.
Les procédures stockées dans la base de données contenant les ensembles de données PeMS fournissent des agrégations annuelles des ensembles de données PeMS au niveau de la station pour des résolutions temporelles spécifiées par l'utilisateur. Pour plus d'informations, reportez-vous à la page Wiki de GitHub pour chaque ensemble de données PeMS.
Un micro-service Python est inclus dans le dossier de correspondance du projet qui correspond à une année spécifiée par l'utilisateur de métadonnées de station PeMS chargées dans une instance de serveur SQL interne avec un fichier e00 de réseau routier SANDAG spécifié par l'utilisateur. Le script Python peut être exécuté en dehors de la structure des dossiers du projet et inclut un fichier Environment.yml distinct du projet principal.
