genai machine translation traffic light

Penilaian Kualitas Terjemahan Menggunakan LLM

Repositori ini berisi contoh kode untuk menyebarkan aplikasi yang dapat melakukan penilaian kualitas kalimat terjemahan dari beberapa pasangan bahasa umum. Aplikasi ini mengambil kalimat sumber dan terjemahannya serta menggunakan Model Bahasa Besar untuk melakukan beberapa penilaian kualitas dan memberikan peringkat MERAH, KUNING, atau HIJAU. Aplikasi ini juga akan memberikan alasan LLM serta daftar kesalahan yang diidentifikasi.

Tujuan penggunaan aplikasi ini adalah untuk menilai kualitas model terjemahan mesin untuk pasangan bahasa umum di mana peringkat HIJAU tidak memerlukan campur tangan manusia. Peringkat AMBER memerlukan beberapa koreksi tetapi maksud kalimat tetap dipertahankan dalam terjemahan. Peringkat MERAH mengidentifikasi terjemahan berkualitas buruk yang tidak dapat digunakan atau mengubah arti kalimat sumber.

Aplikasi ini dimaksudkan untuk menampilkan beberapa kemampuan menarik dari LLM multibahasa dan tidak dimaksudkan untuk menjadi sistem siap produksi.

Pengaturan

Prasyarat

Untuk menerapkan aplikasi ini kita memerlukan akun AWS dengan akses ke model Bedrock spesifik Bedrock. Untuk mengaktifkan model yang diperlukan, ikuti langkah-langkah berikut:

1. Masuk ke Konsol AWS untuk akun yang akan Anda gunakan.

2. Beralih ke wilayah tempat Anda ingin menerapkan. Pertama periksa apakah Bedrock tersedia di wilayah itu dan model yang akan Anda gunakan juga tersedia (Claude 3 Sonnet dan Llama2 Chat 70B secara default)

3. Navigasikan ke Bedrock di konsol dan dari menu tarik-turun, buka Model access

4. Pilih Modify model access

5. Dari daftar model dasar pilih:

   • Claude 3 Soneta
   • Obrolan Lama 70B

6. Periksa syarat dan ketentuan kedua model dan pastikan penggunaan Anda sesuai dengan syarat dan ketentuan ini.

7. Klik Next Akses harus segera diberikan. Jika akses tidak diberikan dalam beberapa menit, hubungi AWS Support.

Persyaratan dan Langkah Pembangunan dan Pembangunan Lokal

• Python 3.12
• CLI AWS SAM
• NPM

1. Buat lingkungan virtual python terlebih dahulu dengan python3.12 -m venv .venv

2. Selanjutnya, aktifkan lingkungan virtual dan instal persyaratannya:

    source .venv/bin/activate
   pip install -r requirements.txt

3. Bangun aplikasi menggunakan SAM CLI

   sam build --template template.yaml

   Ini pertama-tama akan membangun paket untuk aplikasi dan membuat folder .aws-sam secara lokal.

4. Menyebarkan artefak yang dibangun. Untuk penerapan pertama Anda, gunakan tanda --guided untuk menjawab serangkaian pertanyaan tentang tumpukan. Parameter ini dapat disimpan secara lokal dan digunakan kembali dalam penerapan di masa mendatang.

   sam deploy --guided --profile < AWS_PROFILE >

   Parameter pertama yang diminta adalah nama tumpukan. Kami akan menyebutnya sebagai $STACK_NAME di sisa dokumen ini. Ini akan mulai menerapkan aplikasi ke akun AWS yang Anda tentukan. Penerapan akan memakan waktu kurang dari 15 menit. Ketika selesai, serangkaian keluaran untuk tumpukan akan ditampilkan, kami akan menggunakannya pada langkah berikutnya untuk mengonfigurasi UI.

Konfigurasikan UI

Untuk mengonfigurasi UI, kita perlu menggunakan beberapa keluaran tumpukan.

1. Buka konsol untuk akun AWS tempat Anda menerapkan dan navigasikan ke Cloudformation lalu Stacks.

2. Temukan tumpukan $STACK_NAME , buka dan buka tab Output.

3. Secara lokal, buka ui/src/aws-exports.js untuk mengedit file.

4. Isi nilai berikut di aws-exports.js dengan variabel yang sesuai pada tab Keluaran Cloudformation Stacks:

   aws_project_region: $Region ,
   aws_cognito_region: $Region ,
   aws_user_files_s3_bucket_region: $Region ,
   
   aws_user_files_s3_bucket: $S3Bucket ,
   aws_cloud_logic_custom: [
       {
       name: " api " ,
       endpoint: " $Endpoint " ,
       },
   ],
   aws_user_pools_id: $UserPoolsId ,
   aws_cognito_identity_pool_id: $IdentityPoolId ,
   aws_user_pools_web_client_id: $UserPoolsWebClientId ,

5. Selanjutnya, kita perlu membuat pengguna di Amazon Cognito untuk mengakses aplikasi. Buka Amazon Cognito di konsol AWS dan temukan kumpulan pengguna. Ini akan diberi nama UserPool-$UserPoolsId . Di bawah tab Pengguna, pilih buat pengguna dan ikuti langkah-langkah untuk menyiapkan akun Anda untuk akses UI.

Bangun Paket UI

Untuk membangun front end yang dijalankan secara lokal:

 cd ui
npm install

Anda kemudian dapat menghosting front end secara lokal untuk tujuan demo dengan menggunakan

npm run dev

Ini akan memberikan url localhost untuk mengakses aplikasi.

Terapkan Aplikasi menggunakan hosting AWS Amplify

Buka folder dist di bawah folder ui dan pilih semua file secara manual dan buat file zip. Anda dapat mengganti namanya menjadi ui.zip

1. Masuk ke konsol AWS dan navigasikan ke AWS Amplify

2. Pilih Create new app

3. Pilih Deploy without Git lalu Berikutnya

4. Buka repositori lokal Anda dan, dari folder ui , jalankan:

   npm run build

   ini akan membuat folder ui/dist .

5. Selanjutnya, zip folder dist

    cd dist
   zip -r $STACK_NAME *

6. Kembali ke konsol AWS Amplify dan unggah file zip yang baru Anda buat, lalu tekan Save and deploy

7. Jika berhasil, sebuah halaman akan muncul dengan tautan Domain , klik ini dan itu akan membawa Anda ke aplikasi yang Anda terapkan.

8. Gunakan pengguna yang dibuat pada langkah sebelumnya untuk masuk ke aplikasi.

Membersihkan

Untuk menghindari timbulnya biaya di masa mendatang, harap bersihkan sumber daya yang dibuat.

Hapus tumpukan

sam delete $STACK_NAME

Hapus hosting Amplify

Buka AWS Amplify di konsol AWS dan pilih tindakan "hapus aplikasi" untuk hosting amplify Anda.