jitify

吉蒂菲

一个单头 C++ 库，用于简化 CUDA 运行时编译 (NVRTC) 的使用。

基本原理

将 NVRTC 集成到现有和/或模板化 CUDA 代码中可能很棘手。 Jitify 旨在通过将复杂性隐藏在简单的高级界面背后来简化此过程。

快速示例

 const char * program_source = " my_program n "
    " template n "
    " __global__ n "
    " void my_kernel(T* data) { n "
    "    T data0 = data[0]; n "
    "    for( int i=0; in "
    "        data[0] *= data0; n "
    "    } n "
    " } n " ;
static jitify::JitCache kernel_cache;
jitify::Program program = kernel_cache.program(program_source);
// ...set up data etc.
dim3 grid ( 1 );
dim3 block ( 1 );
using jitify::reflection::type_of;
program.kernel( " my_kernel " )
       .instantiate( 3 , type_of(*data))
       .configure(grid, block)
       .launch(data);

特征

Jitify 提供/负责以下事项：

• 所有 NVRTC 和 CUDA 驱动程序 API 调用
• 简单的内核实例化和启动语法
• 缓存已编译的内核
• 从字符串、文件或嵌入可执行文件中加载源代码
• 忽略运行时编译源中的主机代码
• 跳过不需要的标头
• 支持 JIT 安全的标准库头文件（例如 float.h、stdint.h 等）
• 处理内核名称修改
• 将内核模板参数反映为字符串
• 专门针对当前设备的计算能力进行编译
• 链接到预编译的 PTX/CUBIN/FATBIN/对象/库文件
• 在 Linux 和 Windows 上支持 CUDA 版本 7.0、7.5、8.0、9.x、10.x
• 方便的 parallel_for 函数和 lambda 支持
• *新* jitify::experimental API 提供序列化功能以启用用户管理的哈希和缓存

您可以使用 Jitify 和 NVRTC 执行以下操作：

• 快速移植现有代码以使用 CUDA 运行时编译
• 大幅减少代码量和离线编译时间
• 通过烘焙运行时常量和自动调整来提高内核性能

如何建造

Jitify 只是一个头文件：

# include < jitify.hpp >

编译时使用： -pthread （如果 JITIFY_THREAD_SAFE 定义为 0，则不需要）

链接： -lcuda -lcudart -lnvrtc

其中包含一个名为 stringify 的小实用程序，用于将文本文件转换为 C 字符串文字，这提供了一种将 JIT 编译源集成到构建中的便捷方法。

运行测试

可以使用以下命令运行测试：

$ make test

这将自动下载并构建 GoogleTest 库，这需要 CMake 在系统上可用。

文档

示例

有关如何使用该库的一些示例，请参阅 jitify_example.cpp。 Makefile 还演示了如何使用提供的 stringify 实用程序。

Ben Barsdell 和 Kate Clark 的 GTC 2017 演讲

API文档

Doxygen 文档可以通过运行生成：

$ make doc

HTML 和 LaTeX 结果放置在 doc/ 子目录中。

执照

BSD-3 条款

作者

Ben Barsdell（NVIDIA、nvidia dot com 的 bbarsdell）

Kate Clark（NVIDIA、nvidia dot com 的 mclark）