doc genius ai

DocGenius AI - 문서를 위한 생성적 AI 챗봇

건축학

RAG를 구현한 챗봇

Cloudera AI 추론

전개

클라우데라 AMP

응용

맞춤형 지식 기반 구축

• 벡터DB 활용
• NiFi 사용
• Python 등을 사용하세요..

사용자 입력 및 출력 이해

입력

모델 선택 - 여기서 사용자는 Llama3 70B 매개변수 채팅 모델( llama-3-70b )을 선택할 수 있습니다.

온도 선택(반응의 무작위성) - 여기서 사용자는 모델 반응의 무작위성을 조정할 수 있습니다. 숫자가 낮을수록 더 근사하고 객관적인 답변이 보장되고, 숫자가 높을수록 모델 창의성이 향상됩니다.

토큰 수 선택(응답 길이) - 여기에는 몇 가지 옵션이 제공되었습니다. 사용자가 사용하는 토큰 수는 모델이 반환하는 응답의 길이와 직접적인 상관 관계가 있습니다.

질문 – 들리는 대로입니다. 여기에서 사용자가 모델에게 질문을 제공할 수 있습니다.

출력

응답 - 이것은 벡터 데이터베이스의 컨텍스트가 주어진 모델에 의해 생성된 응답입니다. 질문이 지식창고의 콘텐츠와 연관될 수 없는 경우 환각적인 응답을 받을 수 있습니다.

전개

LLM용 FastAPI

app 디렉토리는 LLM을 위한 FastAPI를 호스팅합니다.

챗봇 UI(프론트엔드)

chat-ui 디렉토리는 Chatbot UI용 코드를 호스팅합니다.

변수

AMP 배포 시 변수를 살펴보세요. 추론 엔드포인트 및 키를 얻으려면 Cloduera AI 추론 문서를 참조하세요.

요구사항

CML 인스턴스 유형

• LLM에서 추론을 수행하려면 GPU 인스턴스가 필요합니다.
  • CML 문서: GPU
• CUDA 5.0+ 지원 GPU 인스턴스 유형이 권장됩니다 (이 요구 사항이 충족되지 않으면 2단계에서 실패합니다).
  • 이 토치 라이브러리에는 CUDA 컴퓨팅 기능 5.0 이상의 GPU가 필요합니다. (예: NVIDIA V100, A100, T4 GPU)

권장 런타임

JupyterLab - Python 3.11 - Nvidia GPU

AMP 문서

https://docs.cloudera.com/machine-learning/cloud/applied-ml-prototypes/topics/ml-amp-project-spec.html

자원 요구사항

이로 인해 리소스 요구 사항이 있는 다음과 같은 워크로드가 생성됩니다.

• CML 세션: 2 CPU, 16GB MEM
• CML 작업: 2 CPU, 8GB MEM
• CML 애플리케이션: 2 CPU, 1 GPU, 16GB MEM

기본 기술 자료

• 이 AMP가 배포되면 소매 데이터 세트의 로컬 Milvus를 사용하여 지식 베이스를 구축하기 위한 샘플 작업을 배포합니다.

코드 구조

 doc-genius-ai/
├── app/                      	# Application directory for API and Model Serving
│   └── [..subdirs..]
│   └── chatbot/		# has the model serving python files for RAG, Prompt, Fine-tuning models
│   └── main.py		# main.py file to start the API
├── chat-ui/                  	# Directory for the chatbot UI in Next.js
│   └── [..subdirs..]
│   └── app.py 		# app.py file to serve  build files in .next directory via Flask
├── pipeline/                 	# Pipeline directory for data processing or workflow pipelines and vector load
├── data/                     	# Data directory for storing datasets or data files or RAG KB
├── models/                   	# Models directory for LLMs / ML models
├── session/                  	# Scripts for CML Sessions and Validation Tasks
├── images/                   	# Directory for storing project related images
├── api.md                    	# Documentation for the APIs
├── README.md         	# Detailed description of the project
├── .gitignore                	# Specifies intentionally untracked files to ignore
├── catalog.yaml          	# YAML file that contains descriptive information and metadata for the displaying the AMP projects in the CML Project Catalog.           
├─ .project-metadata.yaml    # Project metadata file that provides configuration and setup details
├── cdsw-build.sh             	# Script for building the Model dependencies
└── requirements.txt          	# Python dependencies for Model Serving

임시 수정 사항

1. CML 작업공간 -> 사이트 관리 -> 설정 -> 임시 저장소(GB)로 이동하여 임시 저장소 한도를 늘리고 값을 50 이상으로 설정하세요.

• CML 모델이 생성되면 모델이 포드의 스크래치 공간에 로드되고 LLM 모델이 기본 10GB보다 커서 배포 중에 문제가 발생합니다.

2. 사이트 관리 > 보안 > 애플리케이션이 인증되지 않은 액세스로 구성되도록 허용합니다. (박스를 체크하세요)

중요 공지

중요: 계속하기 전에 다음 내용을 읽어 보십시오. 이 AMP는 특정 타사 소프트웨어 패키지를 포함하거나 이에 따라 달라집니다. 이러한 타사 소프트웨어 패키지에 대한 정보는 이 AMP와 관련된 알림 파일에서 확인할 수 있습니다. 이 AMP를 구성하고 실행하면 해당 타사 소프트웨어 패키지가 경우에 따라 타사 웹사이트에서 사용자 환경에 다운로드 및 설치됩니다. 각 제3자 소프트웨어 패키지에 대해 해당 라이센스 조건을 포함한 자세한 내용은 공지 파일 및 해당 웹사이트를 참조하십시오.

타사 소프트웨어 패키지를 다운로드하여 설치하지 않으려면 이 AMP를 구성, 실행 또는 사용하지 마십시오. AMP를 구성, 실행 또는 기타 방식으로 사용함으로써 귀하는 전술한 내용을 인정하고 Cloudera가 제3자 소프트웨어 패키지에 대해 어떤 방식으로든 책임을 지지 않는다는 데 동의합니다.

저작권 (c) 2024 - Cloudera, Inc. 모든 권리 보유.