jitify Download - jitify Quellcode herunterladen

jitify

C/C++

1.0.0

Herunterladen

Jitify

Eine Single-Header-C++-Bibliothek zur Vereinfachung der Verwendung von CUDA Runtime Compilation (NVRTC).

Begründung

Die Integration von NVRTC in vorhandenen und/oder vorlagenbasierten CUDA-Code kann schwierig sein. Jitify zielt darauf ab, diesen Prozess zu vereinfachen, indem es die Komplexität hinter einer einfachen, übergeordneten Schnittstelle verbirgt.

Kurzes Beispiel

 const char * program_source = " my_program n "
    " template n "
    " __global__ n "
    " void my_kernel(T* data) { n "
    "    T data0 = data[0]; n "
    "    for( int i=0; in "
    "        data[0] *= data0; n "
    "    } n "
    " } n " ;
static jitify::JitCache kernel_cache;
jitify::Program program = kernel_cache.program(program_source);
// ...set up data etc.
dim3 grid ( 1 );
dim3 block ( 1 );
using jitify::reflection::type_of;
program.kernel( " my_kernel " )
       .instantiate( 3 , type_of(*data))
       .configure(grid, block)
       .launch(data);

Merkmale

Jitify stellt/kümmert sich um folgende Dinge:

Alle NVRTC- und CUDA-Treiber-API-Aufrufe
Einfache Kernel-Instanziierung und Startsyntax
Kompilierte Kernel zwischenspeichern
Laden von Quellcode aus Zeichenfolgen, Dateien oder eingebettet in eine ausführbare Datei
Hostcode in zur Laufzeit kompilierten Quellen wird ignoriert
Überspringen nicht benötigter Header
Unterstützung für JIT-sichere Standardbibliotheksheader (z. B. float.h, stdint.h usw.)
Umgang mit der Verstümmelung von Kernel-Namen
Reflektieren von Kernel-Vorlagenparametern in Strings
Kompilieren speziell für die Rechenkapazität des aktuellen Geräts
Verlinkung zu vorkompilierten PTX/CUBIN/FATBIN/object/library-Dateien
Unterstützung für die CUDA-Versionen 7.0, 7.5, 8.0, 9.x, 10.x, sowohl unter Linux als auch unter Windows
Praktische parallel_for-Funktion und Lambda-Unterstützung
Die *neue* jitify::experimental-API bietet Serialisierungsfunktionen, um benutzerverwaltetes Hashing und Caching zu ermöglichen

Dinge, die Sie mit Jitify und NVRTC tun können:

Portieren Sie vorhandenen Code schnell, um die CUDA-Laufzeitkompilierung zu verwenden
Reduzieren Sie das Codevolumen und die Offline-Kompilierungszeiten drastisch
Erhöhen Sie die Kernel-Leistung durch Einbinden von Laufzeitkonstanten und Autotuning

Wie baut man

Jitify ist nur eine einzelne Header-Datei:

# include < jitify.hpp >

Kompilieren mit: -pthread (nicht erforderlich, wenn JITIFY_THREAD_SAFE auf 0 definiert ist)

Link mit: -lcuda -lcudart -lnvrtc

Zum Konvertieren von Textdateien in C-String-Literale ist ein kleines Dienstprogramm namens stringify enthalten, das eine bequeme Möglichkeit bietet, JIT-kompilierte Quellen in einen Build zu integrieren.

Laufende Tests

Tests können mit dem folgenden Befehl ausgeführt werden:

$ make test

Dadurch wird automatisch die GoogleTest-Bibliothek heruntergeladen und erstellt. Dazu muss CMake auf dem System verfügbar sein.

Dokumentation

Beispiele

Unter jitify_example.cpp finden Sie einige Beispiele für die Verwendung der Bibliothek. Das Makefile demonstriert außerdem, wie das bereitgestellte Dienstprogramm stringify verwendet wird.

GTC 2017 Vortrag von Ben Barsdell und Kate Clark