kroomsa

Kroomsa

Eine Suchmaschine für Neugierige. Dabei handelt es sich um einen Suchalgorithmus, der darauf ausgelegt ist, Benutzer einzubeziehen, indem er ihnen während ihrer Sitzung relevante und dennoch interessante Inhalte präsentiert.

Beschreibung

Der auf Ihrer Website implementierte Suchalgorithmus hat großen Einfluss auf die Besucherinteraktion. Eine gute Implementierung kann die Abhängigkeit von Standardsuchmaschinen wie Google bei jeder Suchanfrage erheblich reduzieren und so das Engagement steigern. Herkömmliche Methoden untersuchen Begriffe oder Phrasen in Ihrer Abfrage, um anhand der syntaktischen Übereinstimmung relevante Inhalte zu finden. Kroomsa verwendet semantisches Matching, um für Ihre Anfrage relevante Inhalte zu finden. Es gibt einen Blogbeitrag, der Kroomsas Motivation und ihre technischen Aspekte näher erläutert.

Erste Schritte

Voraussetzungen

• Python 3.6.5
• Führen Sie das Projektverzeichnis-Setup aus: python3 ./setup.py im Stammverzeichnis.
• Tensorflows Universal Sentence Encoder 4
  • Das Modell ist unter diesem Link verfügbar. Laden Sie das Modell herunter und extrahieren Sie die ZIP-Datei im Verzeichnis /vectorizer .
• Als Datenbank zur Zusammenstellung der Reddit-Einsendungen wird MongoDB verwendet. MongoDB kann über diesen Link installiert werden.
• Um Kommentare zu den reddit-Einsendungen abzurufen, wird PRAW verwendet. Zum Scrapen sind Anmeldeinformationen erforderlich, die das Skript dazu autorisieren. Dies geschieht, indem Sie über diesen Link eine App erstellen, die mit einem reddit-Konto verknüpft ist. Als Referenz können Sie diesem Tutorial von Shantnu Tiwari folgen.
  • Registrieren Sie mehrere Instanzen und rufen Sie ihre Anmeldeinformationen ab. Fügen Sie sie dann im folgenden Format zur /config unter dem Parameter bot_codes hinzu: "client_id client_secret user_agent" als durch , getrennte Listenelemente.
• Docker-compose (nur für Docker-Bereitstellung): Installieren Sie die neueste Version über diesen Link.

Installieren

• Erstellen Sie eine Python-Umgebung und installieren Sie die erforderlichen Pakete für die Vorverarbeitung mit: python3 -m pip install -r ./preprocess_requirements.txt
• Zusammenstellung eines Datensatzes von Reddit-Einsendungen
  • Kratzpfosten
    • Die API von Pushshift wird zum Abrufen von Reddit-Einsendungen verwendet. Führen Sie im Stammverzeichnis den folgenden Befehl aus: python3 ./pre_processing/scraping/questions/scrape_questions.py . Es startet ein Skript, das die Subreddits nacheinander bis zu ihrem Beginn durchsucht und die Einsendungen als JSON-Objekte in /pre_processing/scraping/questions/scraped_questions speichert. Anschließend werden die gelöschten Einsendungen in so viele gleiche Teile aufgeteilt, wie es registrierte Bots-Instanzen gibt.
  • Scraping-Kommentare
    • Nachdem wir die Konfiguration mit bot_codes gefüllt haben, können wir mit dem Scraping der Kommentare beginnen, indem wir die beim Scraping von Einreichungen erstellten partitionierten Einreichungsdateien verwenden. Mit dem folgenden Befehl: python3 ./pre_processing/scraping/comments/scrape_comments.py werden mehrere Prozesse erzeugt, die gleichzeitig Kommentarströme abrufen.
  • Einfügen
    • Um die Einreichungen und zugehörigen Kommentare einzufügen, verwenden Sie die folgenden Befehle: python3 ./pre_processing/db_insertion/insertion.py . Es fügt die Beiträge und zugehörigen Kommentare in Mongo ein.
    • Um die Kommentare zu bereinigen und die Beiträge zu kennzeichnen, die aus irgendeinem Grund nicht öffentlich sind, führen Sie python3 ./post_processing/post_processing.py aus. Neben der Bereinigung werden auch Emojis zu jedem Übermittlungsobjekt hinzugefügt (dieses Verhalten ist konfigurierbar).
• Erstellen eines FAISS-Index
  • Um einen FAISS-Index zu erstellen, führen Sie den folgenden Befehl aus: python3 ./index/build_index.py . Standardmäßig wird ein umfassender IDMap, Flat Index erstellt, der jedoch über /config konfiguriert werden kann.
• Datenbank-Dump (für Docker-Bereitstellung)
  • Für die Docker-Bereitstellung ist ein Datenbank-Dump in /mongo_dump erforderlich. Verwenden Sie den folgenden Befehl im Stammverzeichnis, um einen Datenbank-Dump zu erstellen. mongodump --db database_name(default: red) --collection collection_name(default: questions) -o ./mongo_dump .

Ausführung

• Lokale Bereitstellung (mit Gunicorn)
  • Erstellen Sie eine Python-Umgebung und installieren Sie die erforderlichen Pakete mit dem folgenden Befehl: python3 -m pip install -r ./inference_requirements.txt
  • Eine lokale Instanz von Kroomsa kann mit dem folgenden Befehl bereitgestellt werden: gunicorn -c ./gunicorn_config.py server:app
• Dockerisierte Demo
  • Setzen Sie den demo_mode in /config auf True .
  • Bilder erstellen: docker-compose build
  • Bereitstellen: docker-compose up

Autoren

• Aakash chawla
• Divyanshu Kalra

Lizenz

Dieses Projekt ist unter der Apache-Lizenz Version 2.0 lizenziert