kain korektif yang disederhanakan

Bangun asisten RAG Korektif yang disederhanakan dengan Amazon Bedrock

Ringkasan

Amazon Bedrock adalah layanan terkelola sepenuhnya yang membuat model fondasi (FM) berperforma tinggi dari startup AI terkemuka dan Amazon tersedia untuk Anda gunakan melalui API terpadu. Anda dapat memilih dari beragam model pondasi untuk menemukan model yang paling sesuai dengan kasus penggunaan Anda. Amazon Bedrock juga menawarkan serangkaian kemampuan untuk membangun aplikasi AI generatif dengan keamanan, privasi, dan AI yang bertanggung jawab. Dengan menggunakan Amazon Bedrock, Anda dapat dengan mudah bereksperimen dan mengevaluasi model dasar teratas untuk kasus penggunaan Anda, menyesuaikannya secara pribadi dengan data Anda menggunakan teknik seperti fine-tuning dan Retrieval Augmented Generation (RAG), dan membangun agen yang menjalankan tugas menggunakan sistem perusahaan Anda dan sumber data.

Model Bahasa Besar (LLM) pasti menunjukkan halusinasi karena keakuratan teks yang dihasilkan tidak dapat dipastikan hanya dengan pengetahuan parametrik yang dirangkumnya. Meskipun Retrieval Augmented Generation (RAG) merupakan pelengkap praktis untuk LLM, hal ini sangat bergantung pada relevansi dokumen yang diambil, sehingga menimbulkan kekhawatiran tentang bagaimana model akan berperilaku jika pengambilan tidak berjalan dengan baik.

Teknik RAG tingkat lanjut seperti RAG Korektif diusulkan untuk meningkatkan ketahanan pembangkitan. Di CRAG, evaluator pengambilan ringan dirancang untuk menilai kualitas keseluruhan dokumen yang diambil untuk suatu kueri, mengembalikan tingkat kepercayaan berdasarkan tindakan pengambilan pengetahuan yang berbeda dapat dipicu. Karena pengambilan dari korpora statis dan terbatas hanya dapat menghasilkan dokumen sub-optimal, pencarian web skala besar digunakan sebagai perluasan untuk menambah hasil pengambilan. CRAG bersifat plug-and-play dan dapat digabungkan secara mulus dengan berbagai pendekatan berbasis RAG.

Repositori ini berisi kode yang akan memandu Anda melalui proses pembuatan asisten berbasis CRAG yang disederhanakan. Kami akan membahas dua skenario untuk fase pengambilan:

1. (Skenario 1) Dokumen yang paling cocok dengan kueri yang ditentukan terletak di Basis Pengetahuan.
2. (Skenario 2) Dokumen yang sangat cocok dengan kueri yang ditentukan tidak terletak di Basis Pengetahuan. Hasilnya, pencarian web akan dilakukan untuk mengambil dokumen yang cocok.

Untuk memulai

1. Pilih Akun AWS yang akan digunakan dan pastikan untuk membuat semua sumber daya di Akun tersebut.
2. Identifikasi Wilayah AWS yang memiliki Amazon Bedrock dengan model Anthropic Claude 3 dan Titan Embeddings G1 - Teks.
3. Di Wilayah tersebut, salin file berikut ke bucket Amazon S3 baru atau yang sudah ada pilihan Anda. Pastikan bucket ini dapat dibaca oleh AWS CloudFormation.
   • wikipedia_search_bedrock_agent.zip
4. Buat file lapisan Lambda bernama py312_opensearch-py_requests_and_requests-aws4auth.zip menggunakan prosedur berikut dan unggah ke bucket Amazon S3 yang sama seperti pada langkah 3.
   • Pada Windows 10 atau lebih tinggi:
     1. Pastikan Python 3.12 dan pip diinstal dan diatur dalam variabel PATH pengguna.
     2. Unduh 7-zip dan instal di C:/Program Files/7-Zip/ .
     3. Buka prompt perintah Windows.
     4. Buat direktori baru dan cd ke dalamnya.
     5. Jalankan lambda_layer_file_create.bat dari dalam direktori itu.
     6. Ini akan membuat file lapisan Lambda bernama py312_opensearch-py_requests_and_requests-aws4auth.zip .
   • Di Linux:
     1. Pastikan Python 3.12 dan pip diinstal dan diatur dalam variabel PATH pengguna.
     2. Buka prompt perintah Linux.
     3. Buat direktori baru dan cd ke dalamnya.
     4. Jalankan lambda_layer_file_create.sh dari dalam direktori itu.
     5. Ini akan membuat file lapisan Lambda bernama py312_opensearch-py_requests_and_requests-aws4auth.zip .
5. Ambil template AWS CloudFormation yang disederhanakan-korektif-rag-cfn.yaml dan perbarui parameter berikut,
   • DeploymentArtifactsS3BucketName - atur ini ke nama bucket Amazon S3 dari langkah 3.
6. Buat tumpukan AWS CloudFormation dengan templat yang diperbarui.
7. Buka notebook Jupyter bernama disederhanakan-korektif-rag.ipynb dengan menavigasi ke konsol instans notebook Amazon SageMaker dan mengklik tautan Buka Jupyter pada instans bernama disederhanakan-crag-instance .

Struktur repositori

• Folder aset yang berisi templat AWS CloudFormation dan artefak dependen.
• Kode Python untuk fungsi AWS Lambda yang akan dipanggil oleh Agen Batuan Dasar untuk melakukan pencarian web. Ini juga di-zip ke dalam file ini sebagai artefak yang bergantung.
• Folder notebooks yang berisi semua artefak yang terkait dengan notebook Jupyter yang akan Anda kerjakan.

Keamanan

Lihat KONTRIBUSI untuk informasi lebih lanjut.

Lisensi

Perpustakaan ini dilisensikan di bawah Lisensi MIT-0. Lihat file LISENSI.