kroomsa下载 - kroomsa源代码下载

kroomsa

其他源码

1.0.0

下载

克鲁姆萨

好奇者的搜索引擎。它是一种搜索算法，旨在通过在会话期间向用户展示相关但有趣的内容来吸引用户。

描述

您网站中实施的搜索算法极大地影响了访问者的参与度。良好的实施可以显着减少每次查询对 Google 等标准搜索引擎的依赖，从而提高参与度。传统方法会查看查询中的术语或短语，以根据语法匹配查找相关内容。 Kroomsa 使用语义匹配来查找与您的查询相关的内容。有一篇博客文章详细介绍了克鲁姆萨的动机及其技术方面。

入门

先决条件

Python 3.6.5
运行项目根目录下的setup： python3 ./setup.py 。
Tensorflow 的通用句子编码器 4
- 该模型可通过此链接获得。下载模型并将 zip 文件解压到/vectorizer目录中。
MongoDB 用作数据库来整理 Reddit 的提交内容。可以通过此链接安装 MongoDB。
为了获取 reddit 提交的评论，使用了 PRAW。要抓取需要授权脚本的凭据。这是通过点击此链接创建与 Reddit 帐户关联的应用程序来完成的。作为参考，您可以按照 Shantnu Tiwari 编写的教程进行操作。
- 注册多个实例并检索其凭据，然后按以下格式将它们添加到bot_codes参数下的/config ： "client_id client_secret user_agent"作为由,分隔的列表元素。
Docker-compose（仅适用于 Docker 化部署）：按照此链接安装最新版本。

安装中

创建 python 环境并使用以下命令安装预处理所需的包： python3 -m pip install -r ./preprocess_requirements.txt
整理 Reddit 提交的数据集
- 抓取帖子
  - Pushshift 的 API 用于获取 Reddit 提交内容。在根目录中，运行以下命令： python3 ./pre_processing/scraping/questions/scrape_questions.py 。它启动一个脚本，该脚本会按顺序抓取 subreddits 直到其开始，并将提交内容作为 JSON 对象存储在/pre_processing/scraping/questions/scraped_questions中。然后，它将抓取的提交内容划分为与注册的机器人实例数量相同的部分。
- 抓取评论
  - 使用bot_codes填充配置后，我们可以开始使用在抓取提交时创建的分区提交文件来抓取评论。使用以下命令： python3 ./pre_processing/scraping/comments/scrape_comments.py会生成多个进程，同时获取评论流。
- 插入
  - 要插入提交内容和相关注释，请使用以下命令： python3 ./pre_processing/db_insertion/insertion.py 。它将帖子和相关评论插入 mongo。
  - 要清理评论并标记由于任何原因不公开的帖子，请运行python3 ./post_processing/post_processing.py 。除了清理之外，它还为每个提交对象添加表情符号（此行为是可配置的）。
创建 FAISS 索引
- 要创建 FAISS 索引，请运行以下命令： python3 ./index/build_index.py 。默认情况下，它创建一个详尽的IDMap, Flat索引，但可以通过/config进行配置。
数据库转储（用于 Docker 化部署）
- 对于 Docker 化部署， /mongo_dump中需要数据库转储。在根目录中使用以下命令创建数据库转储。 mongodump --db database_name(default: red) --collection collection_name(default: questions) -o ./mongo_dump .

执行

本地部署（使用Gunicorn）
- 创建 python 环境并使用以下命令安装所需的包： python3 -m pip install -r ./inference_requirements.txt
- 可以使用以下命令部署 Kroomsa 的本地实例： gunicorn -c ./gunicorn_config.py server:app
Docker 化演示
- 在/config中将demo_mode设置为True 。
- 构建镜像： docker-compose build
- 部署： docker-compose up