doc genius ai

DocGenius AI - 為您的文件產生人工智慧聊天機器人

建築學

帶有 RAG 實施的聊天機器人

Cloudera 人工智慧推理

部署

Cloudera AMP

應用領域

建立您的客製化知識庫

• 使用向量資料庫
• 使用NiFi
• 使用 Python 等..

了解使用者輸入和輸出

輸入

選擇型號- 此處使用者可以選擇 Llama3 70B 參數聊天型號 ( llama-3-70b )

選擇溫度（響應的隨機性） - 使用者可以在此處縮放模型響應的隨機性。較低的數字確保更近似、客觀的答案，而較高的數字則鼓勵模型創造力。

選擇令牌數量（回應長度） - 這裡提供了幾個選項。使用者使用的令牌數量與模型傳回的回應長度直接相關。

問題- 就像聽起來一樣；用戶可以在此處向模型提出問題

輸出

響應- 這是模型根據向量資料庫中的上下文產生的回應。請注意，如果問題與您知識庫中的內容無法關聯，您可能會得到幻覺答案。

部署

法學碩士 FastAPI

app目錄託管您的 LLM 的 FastAPI

聊天機器人使用者介面（前端）

chat-ui目錄託管 Chatbot UI 的程式碼。

變數

部署 AMP 時查看變數。請參閱 Cloduera AI 推理文件以取得推理端點和金鑰。

要求

CML 實例類型

• 需要 GPU 執行個體才能對 LLM 進行推理
  • CML 文件：GPU
• 建議使用支援 CUDA 5.0+ 的 GPU 執行個體類型（如果不符合此要求，則步驟 2 失敗）
  • 其中的 torch 函式庫需要具有 CUDA 運算能力 5.0 或更高版本的 GPU。 （即 NVIDIA V100、A100、T4 GPU）

推薦運行時間

JupyterLab - Python 3.11 - Nvidia GPU

AMP 文件

https://docs.cloudera.com/machine-learning/cloud/applied-ml-prototypes/topics/ml-amp-project-spec.html

資源需求

這將建立以下具有資源需求的工作負載：

• CML 會話： 2 CPU, 16GB MEM
• CML 作業： 2 CPU, 8GB MEM
• CML 應用： 2 CPU, 1 GPU, 16GB MEM

預設知識庫

• 部署此 AMP 後，它將部署一個範例作業，以使用零售資料集中的本地 Milvus 建立知識庫。

程式碼結構

 doc-genius-ai/
├── app/                      	# Application directory for API and Model Serving
│   └── [..subdirs..]
│   └── chatbot/		# has the model serving python files for RAG, Prompt, Fine-tuning models
│   └── main.py		# main.py file to start the API
├── chat-ui/                  	# Directory for the chatbot UI in Next.js
│   └── [..subdirs..]
│   └── app.py 		# app.py file to serve  build files in .next directory via Flask
├── pipeline/                 	# Pipeline directory for data processing or workflow pipelines and vector load
├── data/                     	# Data directory for storing datasets or data files or RAG KB
├── models/                   	# Models directory for LLMs / ML models
├── session/                  	# Scripts for CML Sessions and Validation Tasks
├── images/                   	# Directory for storing project related images
├── api.md                    	# Documentation for the APIs
├── README.md         	# Detailed description of the project
├── .gitignore                	# Specifies intentionally untracked files to ignore
├── catalog.yaml          	# YAML file that contains descriptive information and metadata for the displaying the AMP projects in the CML Project Catalog.           
├─ .project-metadata.yaml    # Project metadata file that provides configuration and setup details
├── cdsw-build.sh             	# Script for building the Model dependencies
└── requirements.txt          	# Python dependencies for Model Serving

臨時修復

1. 透過導覽至 CML 工作區 -> 網站管理 -> 設定 -> 暫存（以 GB 為單位）來增加暫存限制，並將其設定為 >= 50 的值

• 建立 CML 模型時，模型會載入到 Pod 的臨時空間中，LLM 模型大於預設的 10 GB，這會在部署期間導致問題。

2. 網站管理 > 安全性 > 允許應用程式配置未經身份驗證的存取。 （勾選該方塊）

重要通知

重要提示：請在繼續之前閱讀以下內容。此 AMP 包含或以其他方式依賴某些第三方軟體包。有關此類第三方軟體包的資訊可在與此 AMP 關聯的通知文件中找到。透過設定和啟動此 AMP，您將導致此類第三方軟體包被下載並安裝到您的環境中（在某些情況下），從第三方網站。對於每個第三方軟體包，請參閱通知文件和適用的網站以獲取更多信息，包括適用的許可條款。

如果您不想下載和安裝第三方軟體包，請勿設定、啟動或以其他方式使用此 AMP。透過配置、啟動或以其他方式使用 AMP，即表示您承認上述聲明並同意 Cloudera 對第三方軟體包不以任何方式負責或承擔責任。

版權所有 (c) 2024 - Cloudera, Inc. 保留所有權利。