simdcomp
version 0.1.1
一个简单的 C 库，用于使用二进制打包和 SIMD 指令压缩整数列表。假设您有一个 32 位整数列表，其中大多数整数都很小，或者有一个 32 位整数列表，其中连续整数之间的差异很小。没有软件能够可靠地压缩 32 位随机数数组。
在大多数台式机或笔记本电脑处理器上，该库每秒可以解码至少 40 亿个压缩整数。即能够以15GB/s的速率解压数据。这比 gzip、LZO、Snappy 或 LZ4 等通用编解码器要快得多。
在 Skylake Intel 处理器上，它可以以每个整数 0.3 个周期的速率解码整数，这可以轻松转化为每秒解码超过 8 个数十亿个整数。
该库是 Awesome C C 资源列表的一部分。
贡献者：Daniel Lemire、Nathan Kurz、Christoph Rupp、Anatol Belski、Nick White 等
这是一个用于快速整数压缩的低级库。根据设计，它没有定义压缩格式。由（复杂的）用户创建压缩格式。
它的使用者：
对于不使用 SIMD 指令的纯 C 版本，请参阅 https://github.com/lemire/LittleIntPacker
压缩适用于 128 个整数的块。
有关完整的工作示例，请参阅 example.c（您可以使用“make example; ./example”构建并运行它）。
const uint32_t b = maxbits ( datain ); // computes bit width
simdpackwithoutmask ( datain , buffer , b ); //compressed to buffer, compressing 128 32-bit integers down to b*32 bytes
simdunpack ( buffer , backbuffer , b ); //uncompressed to backbuffer当读取 128 个 32 位整数时，仅写入 b 个 128 位字。因此，压缩比为32/b。
我们使用差分编码：我们存储连续整数之间的差异。为此，我们需要一个初始值（称为偏移量）。
uint32_t offset = 0 ;
uint32_t b1 = simdmaxbitsd1 ( offset , datain ); // bit width
simdpackwithoutmaskd1 ( offset , datain , buffer , b1 ); //compressing 128 32-bit integers down to b1*32 bytes
simdunpackd1 ( offset , buffer , backbuffer , b1 ); //uncompressed任意长度数组的一般示例：
int compress_decompress_demo () {
size_t k , N = 9999 ;
__m128i * endofbuf ;
uint32_t * datain = malloc ( N * sizeof ( uint32_t ));
uint8_t * buffer ;
uint32_t * backbuffer = malloc ( N * sizeof ( uint32_t ));
uint32_t b ;
for ( k = 0 ; k < N ; ++ k ){ /* start with k=0, not k=1! */
datain [ k ] = k ;
}
b = maxbits_length ( datain , N );
buffer = malloc ( simdpack_compressedbytes ( N , b )); // allocate just enough memory
endofbuf = simdpack_length ( datain , N , ( __m128i * ) buffer , b );
/* compressed data is stored between buffer and endofbuf using (endofbuf-buffer)*sizeof(__m128i) bytes */
/* would be safe to do : buffer = realloc(buffer,(endofbuf-(__m128i *)buffer)*sizeof(__m128i)); */
simdunpack_length (( const __m128i * ) buffer , N , backbuffer , b );
for ( k = 0 ; k < N ; ++ k ){
if ( datain [ k ] != backbuffer [ k ]) {
printf ( "bugn" );
return -1 ;
}
}
return 0 ;
}我们还有参考框架 (FOR) 函数（请参阅 simdfor.h 标头）。它们的工作方式类似于位打包例程，但不使用差分编码，因此它们在某些情况下允许更快的搜索，但以压缩为代价。
进行测试
如果你有胆量：
进行安装
如果您是 go 用户，有一个“go”文件夹，您可以在其中找到一个简单的演示。
