jitify

지티파이

NVRTC(CUDA 런타임 컴파일) 사용을 단순화하기 위한 단일 헤더 C++ 라이브러리입니다.

이론적 해석

NVRTC를 기존 및/또는 템플릿 CUDA 코드에 통합하는 것은 까다로울 수 있습니다. Jitify는 단순한 고급 인터페이스 뒤에 복잡성을 숨겨 이 프로세스를 단순화하는 것을 목표로 합니다.

빠른 예

 const char * program_source = " my_program n "
    " template n "
    " __global__ n "
    " void my_kernel(T* data) { n "
    "    T data0 = data[0]; n "
    "    for( int i=0; in "
    "        data[0] *= data0; n "
    "    } n "
    " } n " ;
static jitify::JitCache kernel_cache;
jitify::Program program = kernel_cache.program(program_source);
// ...set up data etc.
dim3 grid ( 1 );
dim3 block ( 1 );
using jitify::reflection::type_of;
program.kernel( " my_kernel " )
       .instantiate( 3 , type_of(*data))
       .configure(grid, block)
       .launch(data);

특징

Jitify는 다음을 제공/처리합니다:

• 모든 NVRTC 및 CUDA 드라이버 API 호출
• 간단한 커널 인스턴스화 및 실행 구문
• 컴파일된 커널 캐싱
• 문자열, 파일 또는 실행 파일에 포함된 소스 코드 로드
• 런타임 컴파일 소스에서 호스트 코드 무시
• 불필요한 헤더 건너뛰기
• JIT 안전 표준 라이브러리 헤더 지원(예: float.h, stdint.h 등)
• 커널 이름 맹글링 처리
• 커널 템플릿 매개변수를 문자열에 반영
• 현재 장치의 컴퓨팅 기능을 위해 특별히 컴파일
• 사전 컴파일된 PTX/CUBIN/FATBIN/객체/라이브러리 파일에 연결
• Linux 및 Windows 모두에서 CUDA 버전 7.0, 7.5, 8.0, 9.x, 10.x 지원
• 편리한 parallel_for 함수 및 람다 지원
• *새로운* jitify::experimental API는 사용자 관리 해싱 및 캐싱을 활성화하는 직렬화 기능을 제공합니다.

Jitify와 NVRTC로 할 수 있는 일:

• CUDA Runtime Compilation을 사용하기 위해 기존 코드를 신속하게 이식
• 코드 양과 오프라인 컴파일 시간을 대폭 줄입니다.
• 런타임 상수 베이킹 및 자동 조정을 통해 커널 성능 향상

구축 방법

Jitify는 단지 단일 헤더 파일입니다.

# include < jitify.hpp >

다음으로 컴파일: -pthread (JITIFY_THREAD_SAFE가 0으로 정의된 경우 필요하지 않음)

링크: -lcuda -lcudart -lnvrtc

텍스트 파일을 C 문자열 리터럴로 변환하기 위해 stringify라는 작은 유틸리티가 포함되어 있으며, 이는 JIT 컴파일 소스를 빌드에 통합하는 편리한 방법을 제공합니다.

테스트 실행

다음 명령을 사용하여 테스트를 실행할 수 있습니다.

$ make test

그러면 시스템에서 CMake를 사용할 수 있어야 하는 GoogleTest 라이브러리가 자동으로 다운로드되고 빌드됩니다.

선적 서류 비치

예

라이브러리 사용 방법에 대한 몇 가지 예는 jitify_example.cpp를 참조하세요. Makefile은 또한 제공된 stringify 유틸리티를 사용하는 방법을 보여줍니다.

Ben Barsdell과 Kate Clark의 GTC 2017 강연

API 문서

Doxygen 문서는 다음을 실행하여 생성할 수 있습니다.

$ make doc

HTML 및 LaTeX 결과는 doc/ 하위 디렉터리에 저장됩니다.

특허

BSD-3-절

저자

Ben Barsdell(NVIDIA, nvidia dot com의 bbarsdell)

Kate Clark(NVIDIA, nvidia dot com의 mclark)