simdcomp
version 0.1.1
مكتبة C بسيطة لضغط قوائم الأعداد الصحيحة باستخدام التعبئة الثنائية وتعليمات SIMD. الافتراض هو إما أن لديك قائمة من الأعداد الصحيحة 32 بت حيث يكون معظمها صغيرًا، أو قائمة من الأعداد الصحيحة 32 بت حيث تكون الاختلافات بين الأعداد الصحيحة المتعاقبة صغيرة. لا يوجد برنامج قادر على ضغط مجموعة من الأرقام العشوائية ذات 32 بت بشكل موثوق.
يمكن لهذه المكتبة فك تشفير ما لا يقل عن 4 مليارات من الأعداد الصحيحة المضغوطة في الثانية على معظم معالجات سطح المكتب أو الكمبيوتر المحمول. أي أنه يمكنه فك ضغط البيانات بمعدل 15 جيجابايت/ثانية. يعد هذا أسرع بكثير من برامج الترميز العامة مثل gzip أو LZO أو Snappy أو LZ4.
على معالج Skylake Intel، يمكنه فك تشفير الأعداد الصحيحة بمعدل 0.3 دورة لكل عدد صحيح، والذي يمكن ترجمته بسهولة إلى أكثر من 8 مليارات من الأعداد الصحيحة التي تم فك تشفيرها في الثانية.
هذه المكتبة جزء من قائمة Awesome C لموارد لغة C.
المساهمين: دانييل لومير، ناثان كورز، كريستوف روب، أناتول بيلسكي، نيك وايت وآخرون
هذه مكتبة منخفضة المستوى لضغط الأعداد الصحيحة بسرعة. حسب التصميم فإنه لا يحدد تنسيقًا مضغوطًا. الأمر متروك للمستخدم (المتطور) لإنشاء تنسيق مضغوط.
يتم استخدامه من قبل:
للحصول على إصدار C عادي لا يستخدم تعليمات SIMD، راجع https://github.com/lemire/LittleIntPacker
يعمل الضغط على كتل مكونة من 128 عددًا صحيحًا.
للحصول على مثال عملي كامل، راجع example.c (يمكنك بنائه وتشغيله باستخدام "make example; ./example").
const uint32_t b = maxbits ( datain ); // computes bit width
simdpackwithoutmask ( datain , buffer , b ); //compressed to buffer, compressing 128 32-bit integers down to b*32 bytes
simdunpack ( buffer , backbuffer , b ); //uncompressed to backbufferبينما تتم قراءة 128 عددًا صحيحًا بطول 32 بت، تتم كتابة كلمات بحجم 128 بت فقط. وبالتالي فإن نسبة الضغط هي 32/ب.
استخدمنا الترميز التفاضلي: حيث نقوم بتخزين الفرق بين الأعداد الصحيحة المتعاقبة. لهذا الغرض، نحن بحاجة إلى قيمة أولية (تسمى الإزاحة).
uint32_t offset = 0 ;
uint32_t b1 = simdmaxbitsd1 ( offset , datain ); // bit width
simdpackwithoutmaskd1 ( offset , datain , buffer , b1 ); //compressing 128 32-bit integers down to b1*32 bytes
simdunpackd1 ( offset , buffer , backbuffer , b1 ); //uncompressedمثال عام للمصفوفات ذات الطول التعسفي:
int compress_decompress_demo () {
size_t k , N = 9999 ;
__m128i * endofbuf ;
uint32_t * datain = malloc ( N * sizeof ( uint32_t ));
uint8_t * buffer ;
uint32_t * backbuffer = malloc ( N * sizeof ( uint32_t ));
uint32_t b ;
for ( k = 0 ; k < N ; ++ k ){ /* start with k=0, not k=1! */
datain [ k ] = k ;
}
b = maxbits_length ( datain , N );
buffer = malloc ( simdpack_compressedbytes ( N , b )); // allocate just enough memory
endofbuf = simdpack_length ( datain , N , ( __m128i * ) buffer , b );
/* compressed data is stored between buffer and endofbuf using (endofbuf-buffer)*sizeof(__m128i) bytes */
/* would be safe to do : buffer = realloc(buffer,(endofbuf-(__m128i *)buffer)*sizeof(__m128i)); */
simdunpack_length (( const __m128i * ) buffer , N , backbuffer , b );
for ( k = 0 ; k < N ; ++ k ){
if ( datain [ k ] != backbuffer [ k ]) {
printf ( "bugn" );
return -1 ;
}
}
return 0 ;
}لدينا أيضًا وظائف الإطار المرجعي (FOR) (انظر رأس simdfor.h). وهي تعمل مثل إجراءات تعبئة البتات، ولكنها لا تستخدم التشفير التفاضلي، لذا فهي تسمح بالبحث بشكل أسرع في بعض الحالات، على حساب الضغط.
إجراء اختبار
وإذا كنت جريئا:
قم بالتثبيت
إذا كنت من مستخدمي Go، فهناك مجلد "go" حيث ستجد عرضًا توضيحيًا بسيطًا.
