hypergrep

Points forts

• Recherchez de manière récursive un modèle d'expression régulière à l'aide d'Intel Hyperscan.
• Lorsqu'un référentiel git est détecté, l'index du référentiel est recherché à l'aide de libgit2.
• Semblable à grep , ripgrep , ugrep , The Silver Searcher etc.
• C++17, Multi-threading, SIMD.
• GUIDE D'UTILISATION
• Notes de mise en œuvre ici.
• Pas multiplateforme. Testé sous Linux.

Performance

Les tests suivants comparent les performances d' hypergrep avec :

• Ripgrep v13.0.0
• ag 2.2.0 (Le chercheur d'argent) v2.2.0
• ugrep v3.11.2

Détails du système

Taper	Valeur
Processeur	Intel(R) Core(TM) i9-11900KF de 11e génération à 3,50 GHz 3,50 GHz
Extensions du jeu d'instructions	Intel® SSE4.1, Intel® SSE4.2, Intel® AVX2, Intel® AVX-512
RAM installée	32,0 Go (31,9 Go utilisables)
SSD	ADATA SX8200PNP
Système d'exploitation	Ubuntu 20.04 LTS
Compilateur C++	g++ (Ubuntu 11.1.0-1ubuntu1-20.04) 11.1.0

Bibliothèques installées Vcpkg

validation vcpkg : 662dbb5

Bibliothèque	Version
argparse	2.9
file d'attente simultanée	1.0.3
fmt	10.0.0
hyperscan	5.4.2
libgit2	1.6.4

Recherche de fichiers volumineux uniques : OpenSubtitles.raw.en.txt

Les recherches suivantes sont effectuées sur un seul fichier volumineux mis en cache en mémoire (~ 13 Go, OpenSubtitles.raw.en.gz ).

Expression régulière	Nombre de lignes	AG	ugrep	Ripgrep	hypergrep
Comptez le nombre de fois où Holmes a fait quelque chose hgrep -c 'Holmes did w'	27	n / A	1.820	1.022	0,696
Littéral avec suffixe Regex hgrep -nw 'Sherlock [AZ]w+' en.txt	7882	n / A	1.812	1.509	0,803
Littéral simple hgrep -nw 'Sherlock Holmes' en.txt	7653	15.764	1.888	1.524	0,658
Littéral simple (insensible à la casse) hgrep -inw 'Sherlock Holmes' en.txt	7871	15.599	6.945	2.162	0,650
Alternance de littéraux hgrep -n 'Sherlock Holmes|John Watson|Irene Adler|Inspector Lestrade|Professor Moriarty' en.txt	10078	n / A	6.886	1.836	0,689
Alternance de littéraux (insensible à la casse) hgrep -in 'Sherlock Holmes|John Watson|Irene Adler|Inspector Lestrade|Professor Moriarty' en.txt	10333	n / A	7.029	3.940	0,770
Mots entourant une chaîne littérale hgrep -n 'w+[x20]+Holmes[x20]+w+' en.txt	5020	n / A	6 min 11 s	1.523	0,638

Recherche dans le référentiel Git : torvalds/linux

Les recherches suivantes sont effectuées sur l'intégralité de l'arborescence des sources du noyau Linux (après avoir exécuté make defconfig && make -j8 ). Le commit utilisé est f1fcb.

Expression régulière	Nombre de lignes	AG	ugrep	Ripgrep	hypergrep
Littéral simple hgrep -nw 'PM_RESUME'	9	2.807	0,316	0,147	0,140
Littéral simple (insensible à la casse) hgrep -niw 'PM_RESUME'	39	2.904	0,435	0,149	0,141
Regex avec suffixe littéral hgrep -nw '[AZ]+_SUSPEND'	536	3.080	1.452	0,148	0,143
Alternance de quatre littéraux hgrep -nw '(ERR_SYS|PME_TURN_OFF|LINK_REQ_RST|CFG_BME_EVT)'	16	3.085	0,410	0,153	0,146
Grec Unicode hgrep -n 'p{Greek}'	111	3.762	0,484	0,345	0,146

Recherche dans le référentiel Git : apple/swift

Les recherches suivantes sont effectuées sur l'intégralité de l'arborescence source d'Apple Swift. Le commit utilisé est 3865b.

Expression régulière	Nombre de lignes	AG	ugrep	Ripgrep	hypergrep
Déclaration Function/Struct/Enum suivie d'un identifiant valide et d'une parenthèse ouvrante hgrep -n '(func|struct|enum)s+[A-Za-z_][A-Za-z0-9_]*s*('	59026	1.148	0,954	0,154	0,090
Mots commençant par des caractères alphabétiques suivis d'au moins 2 chiffres hgrep -nw '[A-Za-z]+d{2,}'	127858	1.169	1.238	0,156	0,095
Travail commençant par une lettre majuscule, suivie de caractères alphanumériques et/ou de traits de soulignement hgrep -nw '[AZ][a-zA-Z0-9_]*'	2012372	3.131	2.598	0,550	0,482
Instruction Guard let suivie d'un identifiant valide hgrep -n 'guards+lets+[a-zA-Z_][a-zA-Z0-9_]*s*=s*w+'	839	0,828	0,174	0,054	0,047

Recherche dans l'annuaire : /usr

Les recherches suivantes sont effectuées sur le répertoire /usr .

Expression régulière	Nombre de lignes	AG	ugrep	Ripgrep	hypergrep
Toute URL HTTPS ou FTP hgrep "(https?|ftp)://[^s/$.?#].[^s]*"	13682	4.597	2.894	0,305	0,171
Toute adresse IP IPv4 hgrep -w "(?:d{1,3}.){3}d{1,3}"	12643	4.727	2.340	0,324	0,166
Toute adresse e-mail hgrep -w "[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+.[A-Za-z]{2,}"	47509	5.477	37.209	0,494	0,220
Toute date valide MM/DD/YYYY hgrep "(0[1-9]|1[0-2])/(0[1-9]|[12]d|3[01])/(19|20)d{2}"	116	4.239	1.827	0,251	0,163
Comptez le nombre de valeurs HEX hgrep -cw "(?:0x)?[0-9A-Fa-f]+"	68042	5.765	28.691	1.439	0,611
Rechercher un littéral dans n'importe quel C/C++ hgrep --filter ".(c|cpp|h|hpp)$" test	7355	n / A	0,505	0,118	0,079

Construire

Installer les dépendances avec vcpkg

git clone https://github.com/microsoft/vcpkg
cd vcpkg
./bootstrap-vcpkg.sh
./vcpkg install concurrentqueue fmt argparse libgit2 hyperscan

Construisez hypergrep en utilisant cmake et vcpkg

Cloner le référentiel

 git clone https://github.com/p-ranav/hypergrep
cd hypergrep

Si cmake est plus ancien que 3.19

 mkdir build
cd build
cmake -DCMAKE_TOOLCHAIN_FILE=<path_to_vcpkg>/scripts/buildsystems/vcpkg.cmake ..
make

Si cmake est plus récent que 3.19

Utilisez le préréglage release :

 export VCPKG_ROOT=<path_to_vcpkg>
cmake -B build -S . --preset release
cmake --build build

Portabilité binaire

Pour créer le binaire pour la portabilité x86_64, appelez cmake avec l'option -DBUILD_PORTABLE=on . Cela utilisera -march=x86-64 -mtune=generic et -static-libgcc -static-libstdc++ , et liera la bibliothèque standard C++ et le runtime GCC de manière statique dans le binaire, réduisant ainsi les dépendances sur le système cible.