doc genius ai

DocGenius AI - Chatbot AI Generatif untuk Dokumen Anda

Arsitektur

Chatbot dengan Implementasi RAG

Inferensi AI Cloudera

Penyebaran

Cloudera AMP

Aplikasi

Membangun basis pengetahuan khusus Anda

• Gunakan DB Vektor
• Gunakan NiFi
• Gunakan Python & lainnya..

Memahami Input dan Output Pengguna

masukan

Pilih Model - Di sini pengguna dapat memilih model obrolan parameter Llama3 70B ( llama-3-70b )

Pilih Suhu (Keacakan Respons) - Di sini pengguna dapat menskalakan keacakan respons model. Angka yang lebih rendah memastikan jawaban yang lebih mendekati dan obyektif, sedangkan angka yang lebih tinggi mendorong kreativitas model.

Pilih Jumlah Token (Length of Response) - Disini telah disediakan beberapa pilihan. Jumlah token yang digunakan pengguna berkorelasi langsung dengan lamanya respons yang dikembalikan model.

Pertanyaan - Seperti kedengarannya; disinilah pengguna dapat memberikan pertanyaan kepada model

Keluaran

Respons - Ini adalah respons yang dihasilkan oleh model berdasarkan konteks dalam database vektor Anda. Perhatikan bahwa jika pertanyaan tidak dapat berkorelasi dengan konten dalam basis pengetahuan Anda, Anda mungkin mendapatkan tanggapan halusinasi.

Penyebaran

FastAPI untuk LLM

direktori app menghosting FastAPI untuk LLM Anda

UI Chatbot (Ujung depan)

direktori chat-ui menghosting kode untuk Chatbot UI.

Variabel

Lihat Variabel saat Men-deploy AMP. Rujuk Dokumen Inferensi AI Cloduera untuk Mendapatkan Titik akhir dan Kunci Inferensi.

Persyaratan

Jenis Instans CML

• Instans GPU diperlukan untuk melakukan inferensi pada LLM
  • Dokumentasi CML: GPU
• Direkomendasikan jenis instans GPU berkemampuan CUDA 5.0+ (Ini akan gagal pada Langkah 2 jika persyaratan ini tidak terpenuhi)
  • Pustaka obor di dalamnya memerlukan GPU dengan kemampuan komputasi CUDA 5.0 atau lebih tinggi. (yaitu GPU NVIDIA V100, A100, T4)

Waktu Proses yang Direkomendasikan

JupyterLab - Python 3.11 - GPU Nvidia

Dokumen AMP

https://docs.cloudera.com/machine-learning/cloud/applied-ml-prototypes/topics/ml-amp-project-spec.html

Persyaratan Sumber Daya

Hal ini menciptakan beban kerja berikut dengan persyaratan sumber daya:

• Sesi CML: 2 CPU, 16GB MEM
• Pekerjaan CML: 2 CPU, 8GB MEM
• Aplikasi CML: 2 CPU, 1 GPU, 16GB MEM

Basis Pengetahuan Default

• Saat AMP ini diterapkan, ia akan menerapkan tugas sampel untuk membangun Basis Pengetahuan dengan Milvus Lokal dari kumpulan Data Ritel.

Struktur Kode

 doc-genius-ai/
├── app/                      	# Application directory for API and Model Serving
│   └── [..subdirs..]
│   └── chatbot/		# has the model serving python files for RAG, Prompt, Fine-tuning models
│   └── main.py		# main.py file to start the API
├── chat-ui/                  	# Directory for the chatbot UI in Next.js
│   └── [..subdirs..]
│   └── app.py 		# app.py file to serve  build files in .next directory via Flask
├── pipeline/                 	# Pipeline directory for data processing or workflow pipelines and vector load
├── data/                     	# Data directory for storing datasets or data files or RAG KB
├── models/                   	# Models directory for LLMs / ML models
├── session/                  	# Scripts for CML Sessions and Validation Tasks
├── images/                   	# Directory for storing project related images
├── api.md                    	# Documentation for the APIs
├── README.md         	# Detailed description of the project
├── .gitignore                	# Specifies intentionally untracked files to ignore
├── catalog.yaml          	# YAML file that contains descriptive information and metadata for the displaying the AMP projects in the CML Project Catalog.           
├─ .project-metadata.yaml    # Project metadata file that provides configuration and setup details
├── cdsw-build.sh             	# Script for building the Model dependencies
└── requirements.txt          	# Python dependencies for Model Serving

Perbaikan Sementara

1. Tingkatkan Batas Penyimpanan Ephemeral dengan menavigasi ke CML Workspace -> Administrasi Situs -> Pengaturan -> Penyimpanan Ephemeral (dalam GB) dan atur ke nilai >= 50

• Saat model CML dibuat, model tersebut dimuat di ruang awal pod, model LLM lebih besar dari default 10 GB yang menyebabkan masalah selama penerapan.

2. Administrasi Situs > Keamanan > Izinkan aplikasi dikonfigurasi dengan akses yang tidak diautentikasi. (Centang kotak)

PEMBERITAHUAN PENTING

PENTING: Harap baca yang berikut ini sebelum melanjutkan. AMP ini mencakup atau bergantung pada paket perangkat lunak pihak ketiga tertentu. Informasi tentang paket perangkat lunak pihak ketiga tersebut tersedia dalam file pemberitahuan yang terkait dengan AMP ini. Dengan mengonfigurasi dan meluncurkan AMP ini, Anda akan menyebabkan paket perangkat lunak pihak ketiga tersebut diunduh dan dipasang ke lingkungan Anda, dalam beberapa kasus, dari situs web pihak ketiga. Untuk setiap paket perangkat lunak pihak ketiga, silakan lihat file pemberitahuan dan situs web yang berlaku untuk informasi lebih lanjut, termasuk ketentuan lisensi yang berlaku.

Jika Anda tidak ingin mengunduh dan menginstal paket perangkat lunak pihak ketiga, jangan konfigurasikan, luncurkan, atau gunakan AMP ini. Dengan mengonfigurasi, meluncurkan, atau menggunakan AMP, Anda menyetujui pernyataan di atas dan menyetujui bahwa Cloudera tidak bertanggung jawab atau berkewajiban dengan cara apa pun atas paket perangkat lunak pihak ketiga.

Hak Cipta (c) 2024 - Cloudera, Inc. Semua hak dilindungi undang-undang.