simdcomp
version 0.1.1
Pustaka C sederhana untuk mengompresi daftar bilangan bulat menggunakan pengepakan biner dan instruksi SIMD. Asumsinya adalah Anda memiliki daftar bilangan bulat 32-bit yang sebagian besarnya kecil, atau daftar bilangan bulat 32-bit yang perbedaan antara bilangan bulat yang berurutan kecil. Tidak ada perangkat lunak yang mampu mengompresi array angka acak 32-bit dengan andal.
Pustaka ini dapat memecahkan kode setidaknya 4 miliar bilangan bulat terkompresi per detik di sebagian besar prosesor desktop atau laptop. Artinya, ia dapat mendekompresi data dengan kecepatan 15 GB/s. Ini jauh lebih cepat daripada codec umum seperti gzip, LZO, Snappy, atau LZ4.
Pada prosesor Intel Skylake, ia dapat memecahkan kode bilangan bulat dengan kecepatan 0,3 siklus per bilangan bulat, yang dapat dengan mudah diterjemahkan menjadi lebih dari 8 miliar bilangan bulat yang didekodekan per detik.
Pustaka ini adalah bagian dari daftar sumber daya C yang Luar Biasa.
Kontributor: Daniel Lemire, Nathan Kurz, Christoph Rupp, Anatol Belski, Nick White dan lainnya
Ini adalah perpustakaan tingkat rendah untuk kompresi bilangan bulat cepat. Secara desain, ini tidak menentukan format terkompresi. Terserah kepada pengguna (canggih) untuk membuat format terkompresi.
Ini digunakan oleh:
Untuk versi C biasa yang tidak menggunakan instruksi SIMD, lihat https://github.com/lemire/LittleIntPacker
Kompresi bekerja pada blok yang terdiri dari 128 bilangan bulat.
Untuk contoh kerja lengkap, lihat example.c (Anda dapat membuatnya dan menjalankannya dengan "make example; ./example").
const uint32_t b = maxbits ( datain ); // computes bit width
simdpackwithoutmask ( datain , buffer , b ); //compressed to buffer, compressing 128 32-bit integers down to b*32 bytes
simdunpack ( buffer , backbuffer , b ); //uncompressed to backbufferMeskipun 128 bilangan bulat 32-bit dibaca, hanya b kata 128-bit yang ditulis. Jadi, perbandingan kompresinya adalah 32/b.
Kami menggunakan pengkodean diferensial: kami menyimpan selisih antara bilangan bulat yang berurutan. Untuk tujuan ini, kita memerlukan nilai awal (disebut offset).
uint32_t offset = 0 ;
uint32_t b1 = simdmaxbitsd1 ( offset , datain ); // bit width
simdpackwithoutmaskd1 ( offset , datain , buffer , b1 ); //compressing 128 32-bit integers down to b1*32 bytes
simdunpackd1 ( offset , buffer , backbuffer , b1 ); //uncompressedContoh umum untuk array dengan panjang sembarang:
int compress_decompress_demo () {
size_t k , N = 9999 ;
__m128i * endofbuf ;
uint32_t * datain = malloc ( N * sizeof ( uint32_t ));
uint8_t * buffer ;
uint32_t * backbuffer = malloc ( N * sizeof ( uint32_t ));
uint32_t b ;
for ( k = 0 ; k < N ; ++ k ){ /* start with k=0, not k=1! */
datain [ k ] = k ;
}
b = maxbits_length ( datain , N );
buffer = malloc ( simdpack_compressedbytes ( N , b )); // allocate just enough memory
endofbuf = simdpack_length ( datain , N , ( __m128i * ) buffer , b );
/* compressed data is stored between buffer and endofbuf using (endofbuf-buffer)*sizeof(__m128i) bytes */
/* would be safe to do : buffer = realloc(buffer,(endofbuf-(__m128i *)buffer)*sizeof(__m128i)); */
simdunpack_length (( const __m128i * ) buffer , N , backbuffer , b );
for ( k = 0 ; k < N ; ++ k ){
if ( datain [ k ] != backbuffer [ k ]) {
printf ( "bugn" );
return -1 ;
}
}
return 0 ;
}Kami juga memiliki fungsi frame-of-reference (FOR) (lihat header simdfor.h). Mereka bekerja seperti rutinitas pengepakan bit, tetapi tidak menggunakan pengkodean diferensial sehingga memungkinkan pencarian lebih cepat dalam beberapa kasus, dengan mengorbankan kompresi.
membuat tes
dan jika Anda berani:
buat instal
Jika Anda pengguna go, ada folder "go" di mana Anda akan menemukan demo sederhana.
