genai knowledge capture
1.0.0
Solusi pembuktian konsep ini menjelaskan solusi potensial yang dapat digunakan untuk menangkap pengetahuan suku melalui rekaman suara dari karyawan senior sebuah perusahaan. Ini menguraikan metodologi, untuk menggunakan layanan Amazon Transcribe dan Amazon Bedrock untuk dokumentasi sistematis dan verifikasi data masukan. Dengan menyediakan struktur untuk formalisasi pengetahuan informal ini, solusinya menjamin umur panjang dan penerapannya pada kelompok karyawan berikutnya dalam suatu organisasi. Upaya ini tidak hanya memastikan pemeliharaan keunggulan operasional secara berkelanjutan namun juga meningkatkan efektivitas program pelatihan melalui penggabungan pengetahuan praktis yang diperoleh melalui pengalaman langsung.
Aplikasi demo ini merupakan pembuktian konsep aplikasi pembuatan dokumen menggunakan Amazon Transcribe dan Amazon Bedrock.
Diagram ini menggambarkan arsitektur solusi untuk alur kerja yang diatur oleh AWS Step Functions dalam Wilayah AWS Cloud. Alur kerja terdiri dari beberapa langkah yang dirancang untuk memproses input pengguna, dengan mekanisme penanganan keberhasilan dan kegagalan di setiap langkah. Berikut penjelasan alur prosesnya:
Input Pengguna : Alur kerja dimulai dengan input pengguna untuk memicu fungsi preprocess Lambda.
Praproses : Input terlebih dahulu diproses sebelumnya. Jika berhasil, maka akan berpindah ke langkah transcribe ; jika gagal, ini akan memicu Amazon SNS untuk mengirimkan notifikasi.
Transkrip : Langkah ini mengambil output dari langkah sebelumnya. Transkripsi yang berhasil dilanjutkan ke langkah Validasi, dan output transkripsi disimpan di bucket Amazon S3.
Validasi : Data yang ditranskripsi divalidasi. Berdasarkan hasil validasi, alur kerjanya berbeda:
Summarize : Pasca validasi, jika data berhasil diringkas, teks yang diringkas disimpan di bucket Amazon S3. Jika gagal, ini memicu Amazon SNS untuk mengirimkan notifikasi.
Amazon Bedrock adalah layanan inti yang mendukung fungsi Validasi dan Ringkas Lambda.
Hasilkan : Langkah terakhir ini menghasilkan dokumen akhir dari teks yang diringkas. Jika gagal, ini akan memicu Amazon SNS untuk mengirimkan notifikasi.
Setiap langkah dalam proses ditandai dengan jalur "Sukses" atau "Gagal", yang menunjukkan kemampuan alur kerja untuk menangani kesalahan di berbagai tahapan. Jika gagal, Amazon SNS digunakan untuk mengirimkan pemberitahuan kepada pengguna.
Alur kerja AWS Step Functions beroperasi sebagai orkestrator pusat, memastikan bahwa setiap tugas dijalankan dalam urutan yang benar dan menangani keberhasilan atau kegagalan setiap langkah dengan tepat.
File cdk.json memberi tahu CDK Toolkit cara menjalankan aplikasi Anda.
Proyek ini diatur seperti proyek Python standar. Proses inisialisasi juga membuat virtualenv dalam proyek ini, disimpan di bawah direktori .venv . Untuk membuat virtualenv, diasumsikan ada python3 (atau python untuk Windows) yang dapat dieksekusi di jalur Anda dengan akses ke paket venv . Jika karena alasan apa pun pembuatan virtualenv otomatis gagal, Anda dapat membuat virtualenv secara manual.
Untuk membuat virtualenv secara manual di MacOS dan Linux:
$ python3 -m venv .venvSetelah proses init selesai dan virtualenv dibuat, Anda dapat menggunakan langkah berikut untuk mengaktifkan virtualenv Anda.
$ source .venv/bin/activateJika Anda adalah platform Windows, Anda akan mengaktifkan virtualenv seperti ini:
% .venvScripts activate.batSetelah virtualenv diaktifkan, Anda dapat menginstal dependensi yang diperlukan.
$ pip install -r requirements.txt Untuk menambahkan dependensi tambahan, misalnya pustaka CDK lainnya, cukup tambahkan ke file setup.py Anda dan jalankan kembali perintah pip install -r requirements.txt .
Pada titik ini Anda sekarang dapat mensintesis templat CloudFormation untuk kode ini.
$ cdk synth Untuk menambahkan dependensi tambahan, misalnya pustaka CDK lainnya, cukup tambahkan ke file setup.py Anda dan jalankan kembali perintah pip install -r requirements.txt .
Anda perlu melakukan bootstrap jika ini adalah pertama kalinya Anda menjalankan cdk di akun dan wilayah tertentu.
$ cdk bootstrap
Setelah di-bootstrap, Anda dapat melanjutkan untuk menerapkan cdk.
$ cdk deploy
Jika ini adalah pertama kalinya Anda menerapkannya, prosesnya mungkin memerlukan waktu sekitar 30-45 menit untuk membuat beberapa image Docker di ECS (Amazon Elastic Container Service). Harap bersabar sampai selesai. Setelah itu, ia akan mulai menyebarkan docgen-stack, yang biasanya memakan waktu sekitar 5-8 menit.
Setelah proses penerapan selesai, Anda akan melihat keluaran cdk di terminal, dan Anda juga dapat memverifikasi status di konsol CloudFormation Anda.
Untuk menghapus cdk setelah Anda selesai menggunakannya guna menghindari biaya di masa mendatang, Anda dapat menghapusnya melalui konsol atau menjalankan perintah berikut di terminal.
$ cdk destroyAnda mungkin juga perlu menghapus bucket S3 yang dihasilkan oleh cdk secara manual. Harap pastikan untuk menghapus semua sumber daya yang dihasilkan untuk menghindari timbulnya biaya.
cdk ls mencantumkan semua tumpukan di aplikasicdk synth memancarkan templat CloudFormation yang disintesiscdk deploy menyebarkan tumpukan ini ke akun/wilayah AWS default Andacdk diff membandingkan tumpukan yang dikerahkan dengan keadaan saat inicdk docs membuka dokumentasi CDKcdk destroy dstroys satu atau lebih tumpukan tertentu code # Root folder for code for this solution
├── lambdas # Root folder for all lambda functions
│ ├── preprocess # Lambda function that processes user input, and outputs audio files uris for Amazon Transcribe
│ ├── transcribe # Lambda function that triggers Amazon Transcribe batch transcription
│ ├── validate # Lambda function that analyzes answers from Amazon Transcribe using LLMs from Amazon Bedrock
│ ├── summarize # Lambda function that summarizes on-topic texts from Amazon Transcribe using LLMs from Amazon Bedrock
│ └── generate # Lambda function that generates documents from the summary.
└── code_stack.py # Amazon CDK stack that deploys all AWS resources
Untuk menyesuaikan aplikasi DocGen agar memasukkan data Anda sendiri, langkah-langkah berikut harus diikuti:
Setelah penerapan, infrastruktur AWS CDK akan memfasilitasi transfer otomatis file audio ke bucket Amazon S3 yang ditunjuk. Selanjutnya, eksekusi AWS Step Function dapat dimulai untuk memulai tahap pemrosesan.
Setelah solusi diterapkan, Anda dapat berlangganan email Anda ke topik SNS untuk menerima pemberitahuan.
Silakan ikuti Notifikasi Email SNS.
Jika ada langkah dalam alur kerja StepFunction yang gagal, Anda akan menerima pemberitahuan email.
Setelah penerapan, Anda dapat memicu AWS State Machine yang diterapkan menggunakan perintah berikut:
aws stepfunctions start-execution
--state-machine-arn "arn:aws:states:<your aws region>:<your account id>:stateMachine:genai-knowledge-capture-stack-state-machine"
--input "{"documentName": "<your document name>", "audioFileFolderUri": "s3://<your s3 bucket>/assets/audio_samples/what is amazon bedrock/"}"
Lihat KONTRIBUSI untuk informasi lebih lanjut.
Perpustakaan ini dilisensikan di bawah Lisensi MIT-0. Lihat file LISENSI.
