building qa app with aws bedrock kendra s3 and streamlit

Perkenalan

Repositori ini berisi contoh praktis tentang cara membuat aplikasi Tanya Jawab yang mampu menjawab pertanyaan terkait dokumen pribadi Anda menggunakan layanan GenAI AWS.

Sebelumnya, saya membuat aplikasi Tanya Jawab menggunakan Azure OpenAI GPT-4 dan Pinecone (Anda dapat menemukannya di sini) .
Dalam repositori ini saya akan membuat aplikasi yang persis sama tetapi hanya menggunakan layanan AWS (+ Streamlit untuk UI).

Lebih tepatnya, aplikasi ini memiliki arsitektur berikut:

Dan itu menggunakan teknologi berikut:

• Batuan Dasar AWS
• AWS Kendra
• AWS S3
• Menyalakan

Isi

Repositori ini berisi aplikasi berikut:

• Aplikasi Streamlit , yang memungkinkan kami menanyakan data yang disimpan di AWS Kendra menggunakan salah satu model AWS Bedrock LLM yang tersedia.

Cara kerja aplikasi Tanya Jawab

• Dokumen pribadi disimpan dalam ember s3.

• Indeks Kendra dikonfigurasi untuk menggunakan konektor s3. Indeks memeriksa bucket s3 setiap N menit untuk mencari konten baru. Jika konten baru ditemukan di bucket, konten tersebut secara otomatis diuraikan dan disimpan ke dalam database Kendra.

• Saat pengguna menjalankan kueri melalui aplikasi Streamlit , aplikasi mengikuti langkah-langkah berikut:

  • Ambil informasi yang relevan untuk kueri yang diberikan dari Kendra.
  • Merakit prompt.
  • Mengirimkan prompt ke salah satu Bedrock LLM yang tersedia dan menerima jawaban yang muncul kembali.

Buku catatan Jupyter

• Jika alih-alih menggunakan aplikasi Streamlit , Anda lebih memilih untuk menjalankan petunjuk langkah demi langkah untuk menyiapkan pola RAG, Anda memiliki notebook Jupyter ( /notebooks/rag-with-langchain.ipynb ) yang memungkinkan Anda melakukan hal ini.

• Aplikasi Streamlit banyak menggunakan perpustakaan LangChain untuk mengimplementasikan pola RAG. Jika Anda memilih untuk tidak menggunakan perpustakaan pihak ketiga dan mengatur pola RAG hanya dengan perpustakaan boto3 , Anda memiliki notebook Jupyter kedua ( /notebooks/rag-with-only-boto3.ipynb ) yang memungkinkan Anda melakukan ini .

Infrastruktur AWS

Di folder /infra , Anda akan menemukan serangkaian file Terraform yang akan membuat setiap layanan AWS yang diperlukan agar aplikasi berfungsi dengan baik.

File Terraform ini akan membuat sumber daya berikut:

• Ember s3 untuk menampung dokumen pribadi kami.
• Indeks Kendra dengan konektor s3.
• Peran IAM dengan izin yang diperlukan agar semuanya berfungsi.

Prasyarat

Ada beberapa prasyarat yang harus Anda waspadai sebelum mencoba menjalankan aplikasi.

LLM pihak ketiga AWS Bedrock

• Secara default, di Bedrock Anda hanya akan memiliki akses ke Amazon Titan LLM. Untuk memanfaatkan LLM pihak ketiga mana pun (model LLM Anthropic dan AI21 Labs), Anda harus mendaftar untuk mendapatkan akses secara terpisah.

Di bagian "Akses Model", Anda memiliki gambaran umum tentang LLM mana yang dapat Anda akses dan mana yang tidak Anda akses.

Untuk sepenuhnya menggunakan aplikasi ini, Anda harus memiliki akses ke setiap LLM pihak ketiga AWS Bedrock .

kredensial boto3

• Di dalam aplikasi, boto3 disiapkan untuk mengambil kredensial AWS dari profil default file konfigurasi AWS di mesin lokal Anda.
  Jangan ragu untuk menyesuaikan konfigurasi ini agar selaras dengan preferensi Anda, baik itu melibatkan penggunaan variabel lingkungan, meneruskan kredensial sebagai parameter, atau menggunakan metode lain yang sesuai.

Untuk gambaran umum tentang pendekatan kelipatan untuk mengonfigurasi kredensial boto3 , buka tautan berikut:

• https://boto3.amazonaws.com/v1/documentation/api/latest/guide/credentials.html

Cara menjalankan aplikasi

Sebelum mencoba menjalankan aplikasi, baca bagian Infrastruktur AWS dan Prasyarat .

Jalankan aplikasi secara lokal

Tetapkan variabel lingkungan yang diperlukan

Repositori memiliki file .env yang berisi variabel lingkungan yang diperlukan aplikasi agar berhasil dijalankan:

 KENDRA_INDEX='<kendra-index>'
AWS_BEDROCK_REGION='<bedrock-region>'
AWS_KENDRA_REGION='<region-where-kendra-index-is-deployed>'

Ubah nilainya sesuai.

Pulihkan ketergantungan

pip install -r requirements.txt

Jalankan aplikasi

Saat Anda menginstal Streamlit , alat baris perintah (CLI) juga diinstal. Tujuan alat ini adalah untuk menjalankan aplikasi Streamlit .
Untuk menjalankan aplikasi, jalankan saja perintah berikut:

streamlit run app.py

Jalankan aplikasi menggunakan Docker

Repositori ini memiliki Dockerfile jika Anda lebih suka menjalankan aplikasi pada sebuah container.

Bangun gambarnya

docker build -t aws-rag-app .

Jalankan

 docker run -p 5050:5050 
        -e KENDRA_INDEX="<kendra-index>" 
        -e AWS_BEDROCK_REGION="<bedrock-region>" 
        -e AWS_KENDRA_REGION="<region-where-kendra-index-is-deploy>" 
        -e AWS_ACCESS_KEY_ID="<aws-access-key>" 
        -e AWS_SECRET_ACCESS_KEY="<aws-secret-access-key>" 
        aws-rag-app

Keluaran

log perubahan

10/02/2023

• Memperbarui app.py agar kompatibel dengan perubahan Batuan Dasar terbaru.
• Memperbarui Notebook Jupyter agar kompatibel dengan perubahan Batuan Dasar terbaru.
• Menghapus file roda boto3 dan botocore3 . boto3 yang kompatibel dengan Bedrock akhirnya tersedia untuk umum.