hypergrep

亮点

• 使用 Intel Hyperscan 递归搜索正则表达式模式。
• 当检测到 git 存储库时，将使用 libgit2 搜索存储库索引。
• 类似于grep 、 ripgrep 、 ugrep 、 The Silver Searcher等。
• C++17、多线程、SIMD。
• 使用指南
• 此处的实施说明。
• 不跨平台。在 Linux 中测试。

表现

以下测试比较了hypergrep的性能：

• ripgrep v13.0.0
• ag 2.2.0（银色搜索者） v2.2.0
• ugrep v3.11.2

系统详情

类型	价值
处理器	第 11 代英特尔(R) 酷睿(TM) i9-11900KF @ 3.50GHz 3.50 GHz
指令集扩展	英特尔® SSE4.1、英特尔® SSE4.2、英特尔® AVX2、英特尔® AVX-512
已安装内存	32.0 GB（31.9 GB 可用）
固态硬盘	威刚SX8200PNP
操作系统	Ubuntu 20.04 LTS
C++编译器	g++ (Ubuntu 11.1.0-1ubuntu1-20.04) 11.1.0

Vcpkg 安装的库

vcpkg 提交：662dbb5

图书馆	版本
arg解析	2.9
并发队列	1.0.3
FMMT	10.0.0
超扫描	5.4.2
libgit2	1.6.4

单个大文件搜索： OpenSubtitles.raw.en.txt

以下搜索是对内存中缓存的单个大文件（~13GB， OpenSubtitles.raw.en.gz ）执行的。

正则表达式	行数	股份公司	乌格勒普	ripgrep	超级grep
计算福尔摩斯做某事的次数 hgrep -c 'Holmes did w'	27	不适用	1.820	1.022	0.696
带正则表达式后缀的文字 hgrep -nw 'Sherlock [AZ]w+' en.txt	7882	不适用	1.812	1.509	0.803
简单文字 hgrep -nw 'Sherlock Holmes' en.txt	7653	15.764	1.888	1.524	0.658
简单文字（不区分大小写） hgrep -inw 'Sherlock Holmes' en.txt	7871	15.599	6.945	2.162	0.650
文字的交替 hgrep -n 'Sherlock Holmes|John Watson|Irene Adler|Inspector Lestrade|Professor Moriarty' en.txt	10078	不适用	6.886	1.836	0.689
文字交替（不区分大小写） hgrep -in 'Sherlock Holmes|John Watson|Irene Adler|Inspector Lestrade|Professor Moriarty' en.txt	10333	不适用	7.029	3.940	0.770
围绕文字字符串的单词 hgrep -n 'w+[x20]+Holmes[x20]+w+' en.txt	5020	不适用	6米11秒	1.523	0.638

Git 存储库搜索： torvalds/linux

以下搜索是在整个 Linux 内核源代码树上执行的（运行make defconfig && make -j8后）。使用的提交是 f1fcb。

正则表达式	行数	股份公司	乌格勒普	ripgrep	超级grep
简单文字 hgrep -nw 'PM_RESUME'	9	2.807	0.316	0.147	0.140
简单文字（不区分大小写） hgrep -niw 'PM_RESUME'	39	2.904	0.435	0.149	0.141
带有文字后缀的正则表达式 hgrep -nw '[AZ]+_SUSPEND'	第536章	3.080	1.452	0.148	0.143
四个文字的交替 hgrep -nw '(ERR_SYS|PME_TURN_OFF|LINK_REQ_RST|CFG_BME_EVT)'	16	3.085	0.410	0.153	0.146
统一希腊语 hgrep -n 'p{Greek}'	111	3.762	0.484	0.345	0.146

Git 存储库搜索： apple/swift

以下搜索是在整个 Apple Swift 源代码树上执行的。使用的提交是 3865b。

正则表达式	行数	股份公司	乌格勒普	ripgrep	超级grep
函数/结构体/枚举声明后跟有效标识符和左括号 hgrep -n '(func|struct|enum)s+[A-Za-z_][A-Za-z0-9_]*s*('	59026	1.148	0.954	0.154	0.090
以字母字符开头且后跟至少 2 位数字的单词 hgrep -nw '[A-Za-z]+d{2,}'	127858	1.169	1.238	0.156	0.095
以大写字母开头，后跟字母数字字符和/或下划线 hgrep -nw '[AZ][a-zA-Z0-9_]*'	2012372	3.131	2.598	0.550	0.482
Guard let 语句后跟有效标识符 hgrep -n 'guards+lets+[a-zA-Z_][a-zA-Z0-9_]*s*=s*w+'	第839章	0.828	0.174	0.054	0.047

目录搜索： /usr

以下搜索是在/usr目录上执行的。

正则表达式	行数	股份公司	乌格勒普	ripgrep	超级grep
任何 HTTPS 或 FTP URL hgrep "(https?|ftp)://[^s/$.?#].[^s]*"	13682	4.597	2.894	0.305	0.171
任何 IPv4 IP 地址 hgrep -w "(?:d{1,3}.){3}d{1,3}"	12643	4.727	2.340	0.324	0.166
任何电子邮件地址 hgrep -w "[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+.[A-Za-z]{2,}"	47509	5.477	37.209	0.494	0.220
任何有效日期MM/DD/YYYY hgrep "(0[1-9]|1[0-2])/(0[1-9]|[12]d|3[01])/(19|20)d{2}"	116	4.239	1.827	0.251	0.163
计算十六进制值的数量 hgrep -cw "(?:0x)?[0-9A-Fa-f]+"	68042	5.765	28.691	1.439	0.611
在任何 C/C++ 中搜索文字 hgrep --filter ".(c|cpp|h|hpp)$" test	7355	不适用	0.505	0.118	0.079

建造

使用vcpkg安装依赖项

git clone https://github.com/microsoft/vcpkg
cd vcpkg
./bootstrap-vcpkg.sh
./vcpkg install concurrentqueue fmt argparse libgit2 hyperscan

使用cmake和vcpkg构建hypergrep

克隆存储库

 git clone https://github.com/p-ranav/hypergrep
cd hypergrep

如果cmake早于3.19

 mkdir build
cd build
cmake -DCMAKE_TOOLCHAIN_FILE=<path_to_vcpkg>/scripts/buildsystems/vcpkg.cmake ..
make

如果cmake版本高于3.19

使用release预设：

 export VCPKG_ROOT=<path_to_vcpkg>
cmake -B build -S . --preset release
cmake --build build

二进制可移植性

要构建 x86_64 可移植性的二进制文件，请使用-DBUILD_PORTABLE=on选项调用 cmake。这将使用-march=x86-64 -mtune=generic和-static-libgcc -static-libstdc++ ，并将 C++ 标准库和 GCC 运行时静态链接到二进制文件中，从而减少对目标系统的依赖。