jitify

ジティファイ

CUDA ランタイム コンパイル (NVRTC) の使用を簡素化するためのシングルヘッダー C++ ライブラリ。

理論的根拠

NVRTC を既存の CUDA コードやテンプレート化された CUDA コードに統合するのは難しい場合があります。 Jitify は、シンプルで高レベルのインターフェイスの背後にある複雑さを隠すことで、このプロセスを簡素化することを目的としています。

簡単な例

 const char * program_source = " my_program n "
    " template n "
    " __global__ n "
    " void my_kernel(T* data) { n "
    "    T data0 = data[0]; n "
    "    for( int i=0; in "
    "        data[0] *= data0; n "
    "    } n "
    " } n " ;
static jitify::JitCache kernel_cache;
jitify::Program program = kernel_cache.program(program_source);
// ...set up data etc.
dim3 grid ( 1 );
dim3 block ( 1 );
using jitify::reflection::type_of;
program.kernel( " my_kernel " )
       .instantiate( 3 , type_of(*data))
       .configure(grid, block)
       .launch(data);

特徴

Jitify は次のものを提供/処理します。

• すべての NVRTC および CUDA ドライバー API 呼び出し
• シンプルなカーネルのインスタンス化と起動構文
• コンパイルされたカーネルのキャッシュ
• 文字列、ファイル、または実行可能ファイルに埋め込まれたソースコードからのソースコードのロード
• ランタイムコンパイルされたソース内のホストコードを無視する
• 不要なヘッダーをスキップする
• JIT セーフな標準ライブラリ ヘッダー (float.h、stdint.h など) のサポート
• カーネル名のマングリングへの対処
• カーネルテンプレートパラメータを文字列に反映する
• 現在のデバイスのコンピューティング能力に特化したコンパイル
• プリコンパイルされた PTX/CUBIN/FATBIN/オブジェクト/ライブラリ ファイルへのリンク
• Linux と Windows の両方で CUDA バージョン 7.0、7.5、8.0、9.x、10.x をサポート
• 便利なParallel_for関数とラムダのサポート
• *新しい* jitify::experimental API は、ユーザー管理のハッシュとキャッシュを可能にするシリアル化機能を提供します

Jitify と NVRTC でできること:

• 既存のコードを迅速に移植してCUDA ランタイム コンパイルを使用する
• コード量とオフラインコンパイル時間を大幅に削減
• ランタイム定数のベイクインと自動チューニングによりカーネルのパフォーマンスを向上させます。

構築方法

Jitify は単なる単一のヘッダー ファイルです。

# include < jitify.hpp >

コンパイル: -pthread (JITIFY_THREAD_SAFE が 0 に定義されている場合は不要)

リンク先: -lcuda -lcudart -lnvrtc

テキスト ファイルを C 文字列リテラルに変換するための stringify と呼ばれる小さなユーティリティが含まれており、JIT コンパイルされたソースをビルドに統合する便利な方法を提供します。

テストの実行

テストは次のコマンドで実行できます。

$ make test

これにより、GoogleTest ライブラリが自動的にダウンロードされてビルドされます。これには、システム上で CMake が利用可能である必要があります。

ドキュメント

例

ライブラリの使用方法の例については、jitify_example.cpp を参照してください。 Makefile は、提供されている stringify ユーティリティの使用方法も示しています。

ベン・バーズデル氏とケイト・クラーク氏による GTC 2017 トーク

APIドキュメント

Doxygen ドキュメントは、以下を実行することで生成できます。

$ make doc

HTML と LaTeX の結果は doc/ サブディレクトリに配置されます。

ライセンス

BSD-3-Claes

著者

ベン・バーズデル (NVIDIA、nvidia ドットコムの bbarsdell)

ケイト・クラーク (NVIDIA、nvidia ドットコムの mclark)