Download Yat Search Engine - Download des Quellcodes Yat Search Engine

Yat Search Engine

Anderer Quellcode

version)

Herunterladen

Yat-Search Engine Textsuchmaschine

Suchmaschine der Sun Yat-sen-Universität

Projekteinführung

Yat-Search Engine ist eine effiziente Textsuchmaschine, die das Laden mehrerer Dateien, präzise Abfragen, Fuzzy-Abfragen und Abfragen mit regulären Ausdrücken unterstützt. Dieses Projekt zielt darauf ab, eine schnelle und genaue Textsuchlösung mit dauerhaften Speicher- und Protokollierungsfunktionen bereitzustellen und die chinesische Schnittstelle zu unterstützen.

Es ist zu beachten, dass die chinesische Suche nur über die Option „Fuzzy Search“ abgeschlossen werden kann und am Ende ein „.“ stehen muss.

Dieses Projekt dient ausschließlich Lern- und Kommunikationszwecken. Bitte nutzen Sie es nicht für kommerzielle Zwecke. Der ursprüngliche Autor übernimmt keine Verantwortung für etwaige Folgen, die sich aus der Nutzung dieses Projekts ergeben.

Die aktuelle Version befindet sich noch in der Entwicklung und einige Funktionen sind möglicherweise noch nicht vollständig implementiert. Code-Beiträge und Vorschläge sind willkommen!

Projekthintergrund

Die Hauptaufgabe für den Kurs „Datenstruktur und Algorithmus“ der Fakultät für Informatik der Sun Yat-sen-Universität im Herbstsemester 2024.

Aktuelle Version: v1.4.0

Funktionsliste

Unterstützung mehrerer Dateien : Für die Suche können mehrere Textdateien geladen werden.
Genaue Suchanfrage : Finden Sie genau passende Schlüsselwörter.
Fuzzy-Abfrage : Suchen Sie nach Wörtern, die Schlüsselwörter enthalten.
Abfrage nach regulären Ausdrücken : Erweiterte Suche basierend auf regulären Ausdrücken.
Visuelle Suchergebnisse : Zeigen Sie übereinstimmende Positionen ähnlich wie bei der Compiler-Fehlerberichterstattung an.
Unbegrenzte Abfrage- und Exit-Funktion : Unterstützt kontinuierliche Abfragen und Benutzer können jederzeit beenden.
Persistenter Speicher : Speichern und Laden von Suchindizes.
Protokollfunktion : Abfrageverlauf und Betriebsprotokolle aufzeichnen.
Unterstützung der chinesischen Ausgabe : Chinesische Schriftzeichen richtig finden. (noch nicht abgeschlossen)
Die Kompilierungsmethode wurde von mingW in cmake: geändert, um die plattformübergreifende Kompilierung zu erleichtern.
Geben Sie alle ein, um alle Dateien hinzuzufügen : Geben Sie alle ein, um alle Dateien zu laden.

Projektstruktur


└──Yat-Search-Engine
    ├── CMakeLists.txt
    ├── LICENSE
    ├── dat
    │       └── index.dat
    ├── include
    │       ├── RegexSearch.h
    │       └── TextSearchEngine.h
    ├── log
    │       └── query_log.txt
    ├── logo_pic
    │       ├── logo.txt
    │       └── logo_out.txt
    ├── readme.md
    ├── source-text
    │       ├── bible.txt
    │       ├── text1.txt
    │       ├── text2.txt
    │       └── otherfile...
    └── src
        ├── RegexSearch.cpp
        ├── TextSearchEngine.cpp
        └── main.cpp

Funktionsverbesserungsprozess (TODO)

Grundfunktionen

Die Hash-Tabelle enthält die Abfrage v1.0.0
- Verbesserungsprozess : Implementieren Sie die benutzerdefinierte Hash-Funktion CustomHash und verwenden Sie unordered_map in TextSearchEngine um die Hash-Funktion zu kombinieren und die Abfrageleistung zu optimieren.
Datei lesen v1.0.1
- Verbesserungsprozess : Verbessern Sie den Dateilesemechanismus, um sicherzustellen, dass mehrere Textdateien korrekt gelesen und analysiert werden können und der Inhalt in Suchmaschinen indiziert wird.

Funktionalität hinzufügen

Unterstützung mehrerer Dateien (abgeschlossen) v1.1.0
- Verbesserungsprozess : Ändern Sie main.cpp , um Benutzern die Eingabe mehrerer Dateinamen zu ermöglichen, und das System lädt diese Dateien einzeln zur Indizierung.
Unterstützung regulärer Ausdrücke (abgeschlossen) v1.1.1
- Verbesserungsprozess : Fügen Sie die RegexSearch Klasse hinzu, verwenden Sie die C++ <regex> -Bibliothek, um die Abfragefunktion basierend auf regulären Ausdrücken zu implementieren, und fügen Sie dem Hauptmenü entsprechende Optionen hinzu.
Präzise Abfrage (abgeschlossen) v1.1.2
- Verbesserungsprozess : Implementieren Sie die Methode exactQuery , finden Sie mithilfe von unordered_map effizient exakt passende Schlüsselwörter und zeigen Sie die passenden Ergebnisse an.
Visuelle Suchergebnisse, z. B. Nachahmung der Art und Weise, wie der Compiler Fehler meldet (abgeschlossen) v1.2.0
- Verbesserungsprozess : Verwenden Sie in den Abfrageergebnissen das Symbol ^ um die Position des Schlüsselworts im Satz zu markieren, ähnlich der Fehleranzeige des Compilers, um die Lesbarkeit zu verbessern.
Unbegrenzte Abfrage, Exit-Button (abgeschlossen) v1.2.1
- Verbesserungsprozess : Fügen Sie der Hauptschleife eine kontinuierliche Abfragefunktion hinzu, und Benutzer können das Programm beenden, um die Kontinuität der Benutzererfahrung sicherzustellen.
Neue Hash-Funktion (abgeschlossen) v1.3.1
- Geplante Verbesserung : Optimieren Sie die vorhandene CustomHash -Funktion und verbessern Sie die Effizienz der Hash-Konfliktverarbeitung, um die Abfrageleistung weiter zu verbessern.
Unterstützt Chinesisch (abgeschlossen) v1.4.0
- Geplante Verbesserungen : Erweitern Sie die Lokalisierungsunterstützung des Systems, fügen Sie eine mehrsprachige Benutzeroberfläche hinzu und verbessern Sie die Erfahrung chinesischer Benutzer. Aufgrund der Einschränkungen regulärer Ausdrücke kann die chinesische Suche jedoch nur über die Option „Fuzzy-Suche“ durchgeführt werden und es muss sichergestellt werden, dass am Ende ein „.“ steht.
Leistungsoptimierung und Vorverarbeitung (abgeschlossen) v1.3.1
- Verbesserungsprozess : Optimieren Sie die Indexstruktur und den Abfragealgorithmus, verkürzen Sie die Suchzeit und führen Sie beim Laden von Text eine Vorverarbeitung durch, z. B. das Entfernen von Stoppwörtern und die Vereinheitlichung der Groß-/Kleinschreibung.
Benutzeroberfläche (abgeschlossen) v1.2.2
- Verbesserungsprozess : Entwerfen Sie eine übersichtliche und intuitive Befehlszeilenschnittstelle, die Benutzer zum Abschließen von Dateilade- und Abfragevorgängen führt.
Persistenter Speicher (abgeschlossen) v1.3.0
- Verbesserungsprozess : Implementieren Sie die Funktionen zum Speichern und Laden des Index, um zu vermeiden, dass der Index bei jedem Start des Programms neu erstellt wird, und um die Startgeschwindigkeit zu verbessern.
Protokollfunktion, Abfrageverlauf aufzeichnen usw. (abgeschlossen) v1.3.2
- Verbesserungsprozess : Nach jeder Abfrage und jedem wichtigen Vorgang werden relevante Informationen in query_log.txt aufgezeichnet, um Benutzern das Anzeigen des Verlaufs und das Debuggen zu erleichtern.
Unterstützt die chinesische Ausgabe (abgeschlossen) v1.4.0
- Verbesserungsprozess : Richten Sie eine Lokalisierungsumgebung ein, um sicherzustellen, dass das Programm chinesische Schriftzeichen korrekt verarbeiten und anzeigen kann, und verbessern Sie die Erfahrung chinesischer Benutzer.
Die Kompilierungsmethode wurde von mingW auf cmake (abgeschlossen) v1.4.0 geändert
- Verbesserungsprozess : Aufgrund der großen Einschränkungen bei der Verwendung der .vscode-Kompilierung (ich kann beispielsweise nicht im Codespace kompilieren) wurde die Kompilierungsmethode von mingW in cmake geändert, um die plattformübergreifende Kompilierung zu erleichtern.
Geben Sie „all“ ein, um alle Dateien hinzuzufügen (abgeschlossen) v1.4.0
- Verbesserter Prozess : Geben Sie bei der Eingabe von Dateinamen alle ein, um alle Dateien zu laden.

Wie zu verwenden

Projekt klonen

Bitte stellen Sie sicher, dass Sie es in einer Linux-Umgebung ausführen. In einer Windows-Umgebung können verstümmelte chinesische Zeichen auftreten. Geben Sie das Arbeitsverzeichnis ein und klonen Sie das Projekt lokal:

git clone https://github.com/ouyangyipeng/Yat-Search-Engine.git
cd Yat-Search-Engine

Empfohlene Kompilierungs- und Ausführungsmethode: Kompilieren mit Cmake

Stellen Sie sicher, dass CMake und ein C++17-fähiger Compiler installiert sind, z. B. g++ oder clang++ . Die Datei cmakelists.txt wurde mit Kompilierungsoptionen konfiguriert. Führen Sie einfach den folgenden Befehl aus, um das Projekt zu kompilieren. Beachten Sie, dass sich der Standard-Compiler in /usr/bin/g++ befindet. Wenn Sie andere Compiler verwenden müssen, ändern Sie bitte die Datei CMakeLists.txt.

mkdir build  # 假如没有build文件夹
cd build
cmake ..
cmake --build .
./YatSearchEngine

Programm ausführen

Platzieren Sie die Textdatei, die Sie durchsuchen möchten, im Quelltextordner und stellen Sie sicher, dass die Datei im TXT-Format gespeichert ist.

Arbeitsschritte

Starten Sie das Programm: Nach dem Ausführen der ausführbaren Datei zeigt das Programm die Willkommensoberfläche an und fordert Sie auf, die Eingabetaste zu drücken, um fortzufahren.

Datei laden: Geben Sie die zu ladende Datei entsprechend den Eingabeaufforderungen ein (dieser muss mit .txt enden) und geben Sie „done“ ein, um die Dateiauswahl abzuschließen.

Abfragetyp auswählen:

Geben Sie 1 für eine genaue Abfrage ein.

Geben Sie 2 für Fuzzy-Abfrage ein.

Geben Sie 3 für eine Abfrage mit regulären Ausdrücken ein.

Geben Sie 4 ein, um das Programm zu beenden.

Abfrageinhalt eingeben: Geben Sie je nach ausgewähltem Abfragetyp die entsprechenden Schlüsselwörter oder regulären Ausdrücke ein.

Ergebnisse anzeigen: In den Abfrageergebnissen werden übereinstimmende Sätze und ihre Positionsmarkierungen angezeigt.

Beenden Sie das Programm: Wählen Sie die Option „Beenden“. Das Programm speichert den Index und zeichnet das Protokoll auf, bevor es beendet wird.

Protokollansicht

Das Abfragevorgangsprotokoll wird in der Datei query_log.txt gespeichert. Benutzer können historische Abfragedatensätze und Vorgangsprotokolle über einen Texteditor anzeigen.