doc genius ai

DocGenius AI - 为您的文档生成人工智能聊天机器人

建筑学

带有 RAG 实施的聊天机器人

Cloudera 人工智能推理

部署

Cloudera AMP

应用领域

构建您的定制知识库

• 使用矢量数据库
• 使用NiFi
• 使用 Python 等..

了解用户输入和输出

输入

选择型号- 此处用户可以选择 Llama3 70B 参数聊天型号 ( llama-3-70b )

选择温度（响应的随机性） - 用户可以在此处缩放模型响应的随机性。较低的数字确保更近似、客观的答案，而较高的数字则鼓励模型创造力。

选择令牌数量（响应长度） - 这里提供了几个选项。用户使用的令牌数量与模型返回的响应长度直接相关。

问题- 就像听起来一样；用户可以在此处向模型提出问题

输出

响应- 这是模型根据矢量数据库中的上下文生成的响应。请注意，如果问题与您知识库中的内容无法关联，您可能会得到幻觉的答案。

部署

法学硕士 FastAPI

app目录托管您的 LLM 的 FastAPI

聊天机器人用户界面（前端）

chat-ui目录托管 Chatbot UI 的代码。

变量

部署 AMP 时查看变量。请参阅 Cloduera AI 推理文档以获取推理端点和密钥。

要求

CML 实例类型

• 需要 GPU 实例才能对 LLM 进行推理
  • CML 文档：GPU
• 建议使用支持 CUDA 5.0+ 的 GPU 实例类型（如果不满足此要求，则第 2 步将失败）
  • 其中的 torch 库需要具有 CUDA 计算能力 5.0 或更高版本的 GPU。 （即 NVIDIA V100、A100、T4 GPU）

推荐运行时间

JupyterLab - Python 3.11 - Nvidia GPU

AMP 文档

https://docs.cloudera.com/machine-learning/cloud/applied-ml-prototypes/topics/ml-amp-project-spec.html

资源要求

这将创建以下具有资源要求的工作负载：

• CML 会话： 2 CPU, 16GB MEM
• CML 作业： 2 CPU, 8GB MEM
• CML 应用： 2 CPU, 1 GPU, 16GB MEM

默认知识库

• 部署此 AMP 后，它将部署一个示例作业，以使用零售数据集中的本地 Milvus 构建知识库。

代码结构

 doc-genius-ai/
├── app/                      	# Application directory for API and Model Serving
│   └── [..subdirs..]
│   └── chatbot/		# has the model serving python files for RAG, Prompt, Fine-tuning models
│   └── main.py		# main.py file to start the API
├── chat-ui/                  	# Directory for the chatbot UI in Next.js
│   └── [..subdirs..]
│   └── app.py 		# app.py file to serve  build files in .next directory via Flask
├── pipeline/                 	# Pipeline directory for data processing or workflow pipelines and vector load
├── data/                     	# Data directory for storing datasets or data files or RAG KB
├── models/                   	# Models directory for LLMs / ML models
├── session/                  	# Scripts for CML Sessions and Validation Tasks
├── images/                   	# Directory for storing project related images
├── api.md                    	# Documentation for the APIs
├── README.md         	# Detailed description of the project
├── .gitignore                	# Specifies intentionally untracked files to ignore
├── catalog.yaml          	# YAML file that contains descriptive information and metadata for the displaying the AMP projects in the CML Project Catalog.           
├─ .project-metadata.yaml    # Project metadata file that provides configuration and setup details
├── cdsw-build.sh             	# Script for building the Model dependencies
└── requirements.txt          	# Python dependencies for Model Serving

临时修复

1. 通过导航到 CML 工作区 -> 站点管理 -> 设置 -> 临时存储（以 GB 为单位）来增加临时存储限制，并将其设置为 >= 50 的值

• 创建 CML 模型时，该模型会加载到 Pod 的临时空间中，LLM 模型大于默认的 10 GB，这会在部署期间导致问题。

2. 站点管理 > 安全 > 允许应用程序配置未经身份验证的访问。 （勾选该框）

重要通知

重要提示：请在继续之前阅读以下内容。此 AMP 包含或以其他方式依赖于某些第三方软件包。有关此类第三方软件包的信息可在与此 AMP 关联的通知文件中找到。通过配置和启动此 AMP，您将导致此类第三方软件包被下载并安装到您的环境中（在某些情况下），从第三方网站。对于每个第三方软件包，请参阅通知文件和适用的网站以获取更多信息，包括适用的许可条款。

如果您不想下载和安装第三方软件包，请勿配置、启动或以其他方式使用此 AMP。通过配置、启动或以其他方式使用 AMP，即表示您承认上述声明并同意 Cloudera 对第三方软件包不以任何方式负责或承担责任。

版权所有 (c) 2024 - Cloudera, Inc. 保留所有权利。