kroomsa

クルームサ

好奇心旺盛な人のための検索エンジン。これは、セッション中に関連性がありながらも興味深いコンテンツをユーザーに提供することで、ユーザーの関心を引くように設計された検索アルゴリズムです。

説明

Web サイトに実装されている検索アルゴリズムは、訪問者のエンゲージメントに大きな影響を与えます。適切に実装すると、すべてのクエリに対する Google などの標準検索エンジンへの依存が大幅に軽減され、エンゲージメントが向上します。従来の方法では、クエリ内の用語や語句を調べて、構文一致に基づいて関連コンテンツを見つけます。 Kroomsa はセマンティック マッチングを使用して、クエリに関連するコンテンツを見つけます。 Kroomsa の動機とその技術的側面について詳しく説明したブログ投稿があります。

はじめる

前提条件

• Python 3.6.5
• ルート ディレクトリでプロジェクト ディレクトリ setup: python3 ./setup.pyを実行します。
• Tensorflow のユニバーサル センテンス エンコーダ 4
  • モデルはこのリンクから入手できます。モデルをダウンロードし、 /vectorizerディレクトリに zip ファイルを抽出します。
• MongoDB は、Reddit の投稿を照合するためのデータベースとして使用されます。 MongoDB は、このリンクに従ってインストールできます。
• reddit の投稿のコメントを取得するには、PRAW が使用されます。スクレイピングするには、スクリプトを許可する資格情報が必要です。これを行うには、このリンクに従って reddit アカウントに関連付けられたアプリを作成します。参考までに、Shantnu Tiwari によって書かれたこのチュートリアルを参照してください。
  • 複数のインスタンスを登録して資格情報を取得し、 /config bot_codesパラメーターの下に、 "client_id client_secret user_agent"という形式で、 ,で区切られたリスト要素として追加します。
• Docker-compose (Docker 化されたデプロイメントのみ): このリンクに従って最新バージョンをインストールします。

インストール中

• Python 環境を作成し、次を使用して前処理に必要なパッケージをインストールします: python3 -m pip install -r ./preprocess_requirements.txt
• Reddit投稿のデータセットを照合する
  • ポストの削り取り
    • Pushshift の API は、Reddit の投稿を取得するために使用されています。ルート ディレクトリで、コマンドpython3 ./pre_processing/scraping/questions/scrape_questions.pyを実行します。これは、サブレディットを開始するまで順次スクレイピングするスクリプトを起動し、送信内容を JSON オブジェクトとして/pre_processing/scraping/questions/scraped_questionsに保存します。次に、スクレイピングされた送信を、登録されているボットのインスタンスと同じ数の同じ部分に分割します。
  • コメントのスクレイピング
    • 設定にbot_codesを入力した後、送信のスクレイピング中に作成されたパーティション化された送信ファイルを使用してコメントのスクレイピングを開始できます。次のコマンドを使用します: python3 ./pre_processing/scraping/comments/scrape_comments.pyコメント ストリームを同時にフェッチする複数のプロセスが生成されます。
  • 挿入
    • 送信内容と関連するコメントを挿入するには、コマンドpython3 ./pre_processing/db_insertion/insertion.pyを使用します。投稿とそれに関連するコメントを mongo に挿入します。
    • コメントを削除し、何らかの理由で公開されていない投稿にタグを付けるには、 python3 ./post_processing/post_processing.pyを実行します。クリーニングとは別に、各送信オブジェクトに絵文字も追加します (この動作は構成可能です)。
• FAISS インデックスの作成
  • FAISS インデックスを作成するには、コマンドpython3 ./index/build_index.pyを実行します。デフォルトでは、網羅的なIDMap, Flatインデックスが作成されますが、 /configを通じて構成できます。
• データベース ダンプ (Docker 化されたデプロイメント用)
  • Docker 化されたデプロイメントの場合、 /mongo_dumpにデータベース・ダンプが必要です。ルート ディレクトリで次のコマンドを使用して、データベース ダンプを作成します。 mongodump --db database_name(default: red) --collection collection_name(default: questions) -o ./mongo_dump 。

実行

• ローカル展開 (Gunicorn を使用)
  • 次のコマンドを使用して、Python 環境を作成し、必要なパッケージをインストールします: python3 -m pip install -r ./inference_requirements.txt
  • Kroomsa のローカル インスタンスは、次のコマンドを使用してデプロイできます: gunicorn -c ./gunicorn_config.py server:app
• Docker化されたデモ
  • /configで、 demo_mode Trueに設定します。
  • イメージのビルド: docker-compose build
  • デプロイ: docker-compose up

著者

• アーカシュ・チャウラ
• ディヴィアンシュ・カルラ

ライセンス

このプロジェクトは、Apache License Version 2.0 に基づいてライセンスされています。