DTU HPC Scripts

DTU-HPC-Skripte

Dieses Repository sammelt nützliche Skripte zum Ausführen von Code auf den Hochleistungs-Computing-Clustern der Technischen Universität Dänemark (DTU). Da die verfügbaren Module vom Anmeldeknoten abhängig sind, muss ich den Haftungsausschluss hinzufügen, dass ich sie persönlich nur auf dem zweiten Anmeldeknoten verwendet und getestet habe: login2.hpc.dtu.dk. Zum Zeitpunkt des Schreibens wurde das Standardsystem Python (Version 2.7.5) verwendet.

Richten Sie Ihre Python-Umgebung mit Tensorflow und Keras ein

Stellen Sie zunächst über SSH eine Verbindung zu den DTU-HPC-Servern her. Wie bereits erwähnt, empfehle ich den zweiten Login-Knoten. Navigieren Sie nach der Anmeldung zu Ihrem gewünschten Projektverzeichnis und führen Sie Folgendes aus, um Ihre Python-Umgebung einschließlich Tensorflow und Keras basierend auf der CUDA 9.0-Installation einzurichten. Nach dem Beenden können Sie sich beispielsweise bei einem interaktiven GPU-Knoten anmelden, um Ihren Code auszuführen.

 linuxsh
wget https://github.com/Algebrazebra/DTU-HPC-Scripts/raw/master/setup.sh
sh setup.sh
rm -f setup.sh
exit

Übermittlung an die Jobwarteschlange

Jobs werden mithilfe eines Übermittlungs-Shell-Skripts über übermittelt

 bsub < submit.sh

Das Shell-Skript enthält die Anweisungen für den Load-Handler sowie die notwendigen Befehle zum Ausführen Ihres Codes. Ein Beispiel-Jobskript wird mit der Datei „submit.sh“ in diesem Repository bereitgestellt. Ändern Sie die Datei einfach nach Ihren Bedürfnissen und Wünschen. Weitere Informationen zum Job-Skript finden Sie in der offiziellen Dokumentation hier: Batch-Jobs.

Nach erfolgreicher Übermittlung können Sie den Status Ihrer aktuellen Übermittlungen mit überprüfen

 bstat