首页>编程相关>Ai源码
下载

知识图生成器应用程序

从非结构化数据创建知识图

法学硕士图生成器

概述

该应用程序旨在将非结构化数据（pdf、文档、txt、youtube 视频、网页等）转换为存储在 Neo4j 中的知识图。它利用大型语言模型（OpenAI、Gemini 等）的强大功能从文本中提取节点、关系及其属性，并使用 Langchain 框架创建结构化知识图。

从本地计算机、GCS 或 S3 存储桶或从 Web 源上传文件，选择您的 LLM 模型并生成知识图。

主要特点

  • 知识图创建：使用法学硕士将非结构化数据转换为结构化知识图。
  • 提供架构：提供您自己的自定义架构或使用设置中的现有架构来生成图表。
  • 查看图表：在 Bloom 中一次查看特定源或多个源的图表。
  • 与数据聊天：通过对话查询与 Neo4j 数据库中的数据进行交互，还检索有关查询响应来源的元数据。

入门

️您需要安装 Neo4j 数据库 V5.15 或更高版本并安装 APOC 才能使用此知识图生成器。您可以使用任何 Neo4j Aura 数据库（包括免费数据库）。如果您使用 Neo4j Desktop，您将无法使用 docker-compose，而必须遵循后端和前端部分的单独部署。 ️

部署

本地部署

通过 docker-compose 运行

默认情况下仅启用 OpenAI 和 Diffbot，因为 Gemini 需要额外的 GCP 配置。根据环境，我们正在配置由 VITE_LLM_MODELS_PROD 变量指示的模型，我们可以根据需要配置模型。前任： 

 VITE_LLM_MODELS_PROD = " openai_gpt_4o,openai_gpt_4o_mini,diffbot,gemini_1.5_flash "

在根文件夹中，使用 OPENAI 和 DIFFBOT 密钥创建一个 .env 文件（如果您想同时使用两者）： 

 OPENAI_API_KEY = " your-openai-key "
DIFFBOT_API_KEY = " your-diffbot-key "

如果你只想要 OpenAI： 

 VITE_LLM_MODELS_PROD = " diffbot,openai-gpt-3.5,openai-gpt-4o "
OPENAI_API_KEY = " your-openai-key "

如果你只想要 Diffbot： 

 VITE_LLM_MODELS_PROD = " diffbot "
DIFFBOT_API_KEY = " your-diffbot-key "

然后，您可以运行 Docker Compose 来构建并启动所有组件： 

docker-compose up --build

附加配置

默认情况下，输入源为：本地文件、Youtube、维基百科、AWS S3 和网页。当应用此默认配置时： 

 VITE_REACT_APP_SOURCES = " local,youtube,wiki,s3,web "

但是，如果您想要 Google GCS 集成，请添加gcs和您的 Google 客户端 ID： 

 VITE_REACT_APP_SOURCES = " local,youtube,wiki,s3,gcs,web "
VITE_GOOGLE_CLIENT_ID = " xxxx "

您当然可以合并所有内容（本地、youtube、维基百科、s3 和 gcs）或删除任何您不想要/不需要的内容。

聊天模式

默认情况下，所有聊天模式都可用：向量、图向量、图、全文、图向量全文、实体向量和全局向量。如果聊天模式变量中未提及任何模式，则所有模式都可用： 

 VITE_CHAT_MODES = " "

但是，如果您想指定唯一的矢量模式或仅图形模式，您可以通过在环境中指定模式来实现： 

 VITE_CHAT_MODES = " vector,graph "

分别运行后端和前端（开发环境）

或者，您可以单独运行后端和前端：

  • 对于前端：
  1. 通过复制/粘贴 frontend/example.env 创建 frontend/.env 文件。
  2. 根据需要更改值
  3.  cd frontend
yarn
yarn run dev
  • 对于后端：
  1. 通过复制/粘贴 backend/example.env 创建 backend/.env 文件。
  2. 根据需要更改值
  3.  cd backend
python -m venv envName
source envName/bin/activate 
pip install -r requirements.txt
uvicorn score:app --reload

部署在云端

要在 Google Cloud Platform 上部署应用程序和包，请在 google cloud run 上运行以下命令： 

 # Frontend deploy 
gcloud run deploy dev-frontend --set-env-vars " VITE_BACKEND_API_URL= " --set-env-vars " VITE_FRONTEND_HOSTNAME=hostname.us-central1.run.app " --set-env-vars " VITE_SEGMENT_API_URL=https://cdn.segment.com/v1/projects/4SGwdwzuDm5WkFvQtz7D6ATQlo14yjmW/settings "
source location current directory > Frontend
region : 32 [us-central 1]
Allow unauthenticated request : Yes
 # Backend deploy 
gcloud run deploy --set-env-vars " OPENAI_API_KEY = " --set-env-vars " DIFFBOT_API_KEY = " --set-env-vars " NEO4J_URI = " --set-env-vars " NEO4J_PASSWORD = " --set-env-vars " NEO4J_USERNAME = "
source location current directory > Backend
region : 32 [us-central 1]
Allow unauthenticated request : Yes

环境电压

环境变量名称必填/可选默认值描述
嵌入模型选修的全MiniLM-L6-v2用于生成文本嵌入的模型（all-MiniLM-L6-v2、openai、vertexai）
IS_嵌入选修的真的启用文本嵌入的标志
KNN_MIN_SCORE选修的0.94 KNN 算法的最低分数
GEMINI_ENABLED选修的错误的标记以启用 Gemini
GCP_LOG_METRICS_ENABLED选修的错误的标记以启用 Google Cloud 日志
NUMBER_OF_CHUNKS_TO_COMBINE选修的5处理嵌入时要组合的块数
UPDATE_GRAPH_CHUNKS_PROCESSED选修的20更新进度之前处理的块数
NEO4J_URI选修的neo4j://数据库:7687 Neo4j 数据库的 URI
NEO4J_USERNAME选修的新4j Neo4j 数据库的用户名
NEO4J_PASSWORD选修的密码Neo4j 数据库的密码
LANGCHAIN_API_KEY选修的Langchain 的 API 密钥
LANGCHAIN_PROJECT选修的Langchain项目
LANGCHAIN_TRACING_V2选修的真的启用 Langchain 跟踪的标志
LANGCHAIN_ENDPOINT选修的https://api.smith.langchain.com Langchain API 端点
VITE_BACKEND_API_URL选修的http://本地主机:8000后端API的URL
VITE_BLOOM_URL选修的https://workspace-preview.neo4j.io/workspace/explore?connectURL={CONNECT_URL}&search=Show+me+a+graph&featureGenAISuggestions=true&featureGenAISuggestionsInternal=true Bloom 可视化的 URL
VITE_REACT_APP_SOURCES强制的本地、youtube、wiki、s3可用的输入源列表
VITE_聊天_模式强制的矢量、图+矢量、图、混合可用于问答的聊天模式
VITE_ENV强制的开发或生产应用程序的环境变量
VITE_TIME_PER_PAGE选修的50每页处理时间
VITE_CHUNK_SIZE选修的5242880上传的每个文件块的大小
VITE_GOOGLE_CLIENT_ID选修的用于 Google 身份验证的客户端 ID
VITE_LLM_MODELS_PROD选修的openai_gpt_4o、openai_gpt_4o_mini、diffbot、gemini_1.5_flash根据环境 PROD 或 DEV 区分模型
GCS_FILE_CACHE选修的错误的如果设置为 True，会将要处理的文件保存到 GCS 中。如果设置为 False，将在本地保存文件
ENTITY_嵌入选修的错误的如果设置为 True，它将为数据库中的每个实体添加嵌入
LLM_MODEL_CONFIG_ollama_<模型名称>选修的将 ollama 配置设置为 - model_name,model_local_url 以进行本地部署
RAGAS_EMBEDDING_MODEL选修的开放伊ragas评估框架使用的嵌入模型

对于本地 llms (Ollama)

  1. 拉取ollama的docker镜像
docker pull ollama/ollama
  1. 运行 ollama docker 镜像
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
  1. 执行任何 llm 模型 ex?3 
docker exec -it ollama ollama run llama3
  1. 在 docker compose 或后端环境中配置 env 变量。 
LLM_MODEL_CONFIG_ollama_
# example
LLM_MODEL_CONFIG_ollama_llama3 = ${LLM_MODEL_CONFIG_ollama_llama3-llama3,
http : //host.docker.internal:11434}
  1. 配置后端API url 
 VITE_BACKEND_API_URL = ${ VITE_BACKEND_API_URL-backendurl }
  1. 在浏览器中打开应用程序并选择用于提取的 ollama 模型。
  2. 享受图表构建。

用法

  1. 通过传递 URI 和密码或使用 Neo4j 凭据文件连接到 Neo4j Aura 实例。
  2. 从非结构化来源列表中选择您的来源以创建图表。
  3. 从下拉列表中更改 LLM（如果需要），它将用于生成图表。
  4. （可选）在实体图提取设置中定义架构（节点和关系标签）。
  5. 选择多个文件来“生成图表”，或者将处理所有处于“新建”状态的文件以创建图表。
  6. 使用网格中的“查看”查看单个文件的图表，或选择一个或多个文件并“预览图表”
  7. 向聊天机器人询问与已处理/已完成的来源相关的问题，还可以获得有关 LLM 生成的答案的详细信息。

链接

LLM知识图生成器应用程序

Neo4j 工作区

参考

应用程序演示

接触

如有任何疑问或支持，请随时提出 Github Issue

快乐的图表构建！

展开
附加信息
相关应用
为您推荐
相关资讯 全部