hypergrep

Highlight

• Cari pola regex secara rekursif menggunakan Intel Hyperscan.
• Ketika repositori git terdeteksi, indeks repositori dicari menggunakan libgit2.
• Mirip dengan grep , ripgrep , ugrep , The Silver Searcher dll.
• C++17, Multithreading, SIMD.
• PANDUAN PENGGUNAAN
• Catatan implementasi di sini.
• Bukan lintas platform. Diuji di Linux.

Pertunjukan

Tes berikut membandingkan kinerja hypergrep terhadap:

• ripgrep v13.0.0
• ag 2.2.0 (Pencari Perak) v2.2.0
• ugrep v3.11.2

Detail Sistem

Jenis	Nilai
Prosesor	Intel(R) Core(TM) Generasi ke-11 i9-11900KF @ 3,50GHz 3,50 GHz
Ekstensi Set Instruksi	Intel® SSE4.1, Intel® SSE4.2, Intel® AVX2, Intel® AVX-512
RAM terpasang	32,0 GB (31,9 GB dapat digunakan)
SSD	ADATA SX8200PNP
sistem operasi	Ubuntu 20.04 LTS
Kompiler C++	g++ (Ubuntu 11.1.0-1ubuntu1-20.04) 11.1.0

Perpustakaan Terpasang Vcpkg

vcpkg komit: 662dbb5

Perpustakaan	Versi
argparse	2.9
antrian bersamaan	1.0.3
fmt	10.0.0
hiperscan	5.4.2
libgit2	1.6.4

Pencarian File Besar Tunggal: OpenSubtitles.raw.en.txt

Pencarian berikut dilakukan pada satu file besar yang disimpan dalam cache di memori (~13GB, OpenSubtitles.raw.en.gz ).

Regex	Jumlah Garis	ag	jelek	ripgrep	hipergrep
Hitung berapa kali Holmes melakukan sesuatu hgrep -c 'Holmes did w'	27	tidak ada	1.820	1.022	0,696
Literal dengan Akhiran Regex hgrep -nw 'Sherlock [AZ]w+' en.txt	7882	tidak ada	1.812	1.509	0,803
Harfiah Sederhana hgrep -nw 'Sherlock Holmes' en.txt	7653	15.764	1.888	1.524	0,658
Literal Sederhana (tidak peka huruf besar-kecil) hgrep -inw 'Sherlock Holmes' en.txt	7871	15.599	6.945	2.162	0,650
Pergantian Literal hgrep -n 'Sherlock Holmes|John Watson|Irene Adler|Inspector Lestrade|Professor Moriarty' en.txt	10078	tidak ada	6.886	1.836	0,689
Pergantian Literal (tidak peka huruf besar-kecil) hgrep -in 'Sherlock Holmes|John Watson|Irene Adler|Inspector Lestrade|Professor Moriarty' en.txt	10333	tidak ada	7.029	3.940	0,770
Kata-kata yang mengelilingi string literal hgrep -n 'w+[x20]+Holmes[x20]+w+' en.txt	5020	tidak ada	6 menit 11 detik	1.523	0,638

Pencarian Repositori Git: torvalds/linux

Pencarian berikut dilakukan pada seluruh pohon sumber kernel Linux (setelah menjalankan make defconfig && make -j8 ). Komit yang digunakan adalah f1fcb.

Regex	Jumlah Garis	ag	jelek	ripgrep	hipergrep
Harfiah Sederhana hgrep -nw 'PM_RESUME'	9	2.807	0,316	0,147	0,140
Literal Sederhana (tidak peka huruf besar-kecil) hgrep -niw 'PM_RESUME'	39	2.904	0,435	0,149	0,141
Regex dengan Akhiran Literal hgrep -nw '[AZ]+_SUSPEND'	536	3.080	1.452	0,148	0,143
Pergantian empat literal hgrep -nw '(ERR_SYS|PME_TURN_OFF|LINK_REQ_RST|CFG_BME_EVT)'	16	3.085	0,410	0,153	0,146
Unicode Yunani hgrep -n 'p{Greek}'	111	3.762	0,484	0,345	0,146

Pencarian Repositori Git: apple/swift

Pencarian berikut dilakukan pada seluruh pohon sumber Apple Swift. Komit yang digunakan adalah 3865b.

Regex	Jumlah Garis	ag	jelek	ripgrep	hipergrep
Deklarasi Fungsi/Struct/Enum diikuti dengan pengidentifikasi yang valid dan tanda kurung buka hgrep -n '(func|struct|enum)s+[A-Za-z_][A-Za-z0-9_]*s*('	59026	1.148	0,954	0,154	0,090
Kata-kata dimulai dengan karakter alfabet diikuti oleh minimal 2 digit hgrep -nw '[A-Za-z]+d{2,}'	127858	1.169	1.238	0,156	0,095
Bekerja dimulai dengan huruf besar, diikuti dengan karakter alfanumerik dan/atau garis bawah hgrep -nw '[AZ][a-zA-Z0-9_]*'	2012372	3.131	2.598	0,550	0,482
Pernyataan penjaga biarkan diikuti dengan pengenal yang valid hgrep -n 'guards+lets+[a-zA-Z_][a-zA-Z0-9_]*s*=s*w+'	839	0,828	0,174	0,054	0,047

Pencarian Direktori: /usr

Pencarian berikut dilakukan pada direktori /usr .

Regex	Jumlah Garis	ag	jelek	ripgrep	hipergrep
URL HTTPS atau FTP apa pun hgrep "(https?|ftp)://[^s/$.?#].[^s]*"	13682	4.597	2.894	0,305	0,171
Alamat IP IPv4 apa pun hgrep -w "(?:d{1,3}.){3}d{1,3}"	12643	4.727	2.340	0,324	0,166
Alamat email apa pun hgrep -w "[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+.[A-Za-z]{2,}"	47509	5.477	37.209	0,494	0,220
Tanggal yang valid MM/DD/YYYY hgrep "(0[1-9]|1[0-2])/(0[1-9]|[12]d|3[01])/(19|20)d{2}"	116	4.239	1.827	0,251	0,163
Hitung jumlah nilai HEX hgrep -cw "(?:0x)?[0-9A-Fa-f]+"	68042	5.765	28.691	1.439	0,611
Telusuri C/C++ apa pun untuk mencari literal hgrep --filter ".(c|cpp|h|hpp)$" test	7355	tidak ada	0,505	0,118	0,079

Membangun

Instal Dependensi dengan vcpkg

git clone https://github.com/microsoft/vcpkg
cd vcpkg
./bootstrap-vcpkg.sh
./vcpkg install concurrentqueue fmt argparse libgit2 hyperscan

Bangun hypergrep menggunakan cmake dan vcpkg

Kloning repositori

 git clone https://github.com/p-ranav/hypergrep
cd hypergrep

Jika cmake lebih tua dari 3.19

 mkdir build
cd build
cmake -DCMAKE_TOOLCHAIN_FILE=<path_to_vcpkg>/scripts/buildsystems/vcpkg.cmake ..
make

Jika cmake lebih baru dari 3.19

Gunakan preset release :

 export VCPKG_ROOT=<path_to_vcpkg>
cmake -B build -S . --preset release
cmake --build build

Portabilitas Biner

Untuk membangun biner untuk portabilitas x86_64, aktifkan cmake dengan opsi -DBUILD_PORTABLE=on . Ini akan menggunakan -march=x86-64 -mtune=generic dan -static-libgcc -static-libstdc++ , dan menautkan pustaka standar C++ dan runtime GCC secara statis ke dalam biner, sehingga mengurangi ketergantungan pada sistem target.