Este repositorio alberga todos los objetos asociados con el almacenamiento, carga y resumen de conjuntos de datos del Sistema de medición del rendimiento de Caltrans (PeMS).
Los conjuntos de datos de PeMS provienen del PeMS Data Clearinghouse ubicado en http://pems.dot.ca.gov/. Para acceder al PeMS Data Clearinghouse es necesario crear un nombre de usuario y una contraseña.
Para descargar los conjuntos de datos, se recomienda utilizar una extensión de navegador de descarga por lotes, ya que Caltrans prohíbe intencionadamente el uso de herramientas programáticas para acceder a los conjuntos de datos. Una vez descargados los conjuntos de datos de interés, asegúrese de que no haya archivos duplicados ni archivos vacíos, ya que esto no es algo poco común en el Data Clearinghouse.
El destino final de los conjuntos de datos de PeMS es una instancia interna del servidor SQL especificada en el archivo Python main.py de la carpeta Python del proyecto.
Una vez que se descargan los conjuntos de datos, se colocan en la carpeta de datos del proyecto y están listos para cargarse en la instancia del servidor SQL; Asegúrese de que los objetos PeMS SQL creados por el archivo pemsObjects.sql en la carpeta SQL del proyecto existan en la base de datos de destino de interés. Si no existen, o si desea comenzar completamente de nuevo, ejecute pemsObjects.sql en la base de datos de destino de interés para eliminar y crear todos los objetos SQL relacionados con PeMS.
Cree el intérprete de Python a partir del archivo Environment.yml proporcionado ubicado en la carpeta Python del proyecto. Configure el intérprete como el intérprete de Python predeterminado asociado con este proyecto. Ejecute el archivo Python main.py desde la carpeta Python del proyecto. Cargará secuencialmente los conjuntos de datos de interés desde la carpeta de datos, extrayendo los archivos txt necesarios de los archivos gz comprimidos y archivos zip, y los cargará directamente en la base de datos SQL de interés especificada en el archivo Python main.py.
Los procedimientos almacenados dentro de la base de datos que contiene los conjuntos de datos de PeMS proporcionan agregaciones anuales de los conjuntos de datos de PeMS a nivel de estación para resoluciones temporales especificadas por el usuario. Para obtener más información, consulte esta página Wiki de GitHub para cada conjunto de datos de PeMS.
Se incluye un microservicio Python en la carpeta de coincidencia del proyecto que coincide con un año especificado por el usuario de metadatos de la estación PeMS cargados en una instancia interna del servidor SQL con un archivo e00 de la red de carreteras SANDAG especificado por el usuario. El script de Python se puede ejecutar fuera de la estructura de carpetas del proyecto e incluye un archivo Environment.yml separado del proyecto principal.
