พื้นที่เก็บข้อมูลนี้มีตัวอย่างโค้ดเพื่อปรับใช้แอปพลิเคชันที่สามารถทำการประเมินคุณภาพของประโยคที่แปลจากคู่ภาษาทั่วไปบางคู่ได้ แอปพลิเคชันใช้ประโยคต้นฉบับและแปลแบบคู่กัน และใช้โมเดลภาษาขนาดใหญ่เพื่อทำการประเมินคุณภาพและให้คะแนน RED, AMBER หรือ GREEN แอปพลิเคชันจะแสดงผลเหตุผลของ LLM รวมถึงรายการข้อผิดพลาดที่ระบุด้วย
การใช้งานตามวัตถุประสงค์ของแอปพลิเคชันนี้คือเพื่อประเมินคุณภาพของโมเดลการแปลด้วยเครื่องสำหรับคู่ภาษาทั่วไป โดยที่คะแนน GREEN ไม่ต้องการการแทรกแซงจากมนุษย์ การให้คะแนน AMBER จำเป็นต้องมีการแก้ไขบางส่วน แต่เจตนาของประโยคจะยังคงอยู่ในการแปล การให้คะแนน RED ระบุคำแปลที่มีคุณภาพต่ำซึ่งไม่สามารถใช้งานได้หรือเปลี่ยนความหมายของประโยคต้นฉบับ
แอปพลิเคชั่นนี้มีวัตถุประสงค์เพื่อแสดงความสามารถที่น่าสนใจของ LLM หลายภาษา และไม่ได้มีวัตถุประสงค์ให้เป็นระบบที่พร้อมสำหรับการผลิต
ในการปรับใช้แอปพลิเคชันนี้ เราจำเป็นต้องมีบัญชี AWS ที่สามารถเข้าถึงโมเดล Bedrock เฉพาะของ Bedrock หากต้องการเปิดใช้งานโมเดลที่จำเป็น ให้ทำตามขั้นตอนเหล่านี้:
เข้าสู่ระบบคอนโซล AWS สำหรับบัญชีที่คุณจะใช้
สลับไปยังภูมิภาคที่คุณต้องการปรับใช้ ตรวจสอบก่อนว่า Bedrock มีจำหน่ายในภูมิภาคนั้นหรือไม่ และรุ่นที่คุณจะใช้ก็มีวางจำหน่ายเช่นกัน (Claude 3 Sonnet และ Llama2 Chat 70B เป็นค่าเริ่มต้น)
ไปที่ Bedrock บนคอนโซล และจากเมนูแบบเลื่อนลงไปที่ Model access
เลือก Modify model access
จากรายการรุ่นพื้นฐาน ให้เลือก:
ตรวจสอบข้อกำหนดและเงื่อนไขของทั้งสองรุ่นและการใช้งานของคุณจะเป็นไปตามข้อกำหนดเหล่านี้
คลิก Next
ควรให้สิทธิ์การเข้าถึงทันที หากไม่ได้รับอนุญาตให้เข้าถึงภายในไม่กี่นาที โปรดติดต่อ AWS Support
สร้างสภาพแวดล้อมเสมือนของ python ก่อนด้วย python3.12 -m venv .venv
ถัดไป เปิดใช้งานสภาพแวดล้อมเสมือนและติดตั้งข้อกำหนด:
source .venv/bin/activate
pip install -r requirements.txt
สร้างแอปพลิเคชันโดยใช้ SAM CLI
sam build --template template.yaml
ขั้นแรกจะสร้างแพ็คเกจสำหรับแอปพลิเคชันและสร้างโฟลเดอร์ .aws-sam
ในเครื่อง
ปรับใช้สิ่งประดิษฐ์ที่สร้างขึ้น สำหรับการปรับใช้ครั้งแรกของคุณ ให้ใช้แฟล็ก --guided
เพื่อตอบคำถามต่างๆ เกี่ยวกับสแต็ก พารามิเตอร์เหล่านี้สามารถบันทึกไว้ในเครื่องและนำมาใช้ซ้ำในการปรับใช้ในอนาคต
sam deploy --guided --profile < AWS_PROFILE >
พารามิเตอร์แรกที่ร้องขอจะเป็นชื่อสแต็ก เราจะเรียกสิ่งนี้ว่า $STACK_NAME
ในส่วนที่เหลือของเอกสารนี้ ซึ่งจะเริ่มปรับใช้แอปพลิเคชันกับบัญชี AWS ที่คุณระบุ การปรับใช้ควรใช้เวลาน้อยกว่า 15 นาที เมื่อชุดเอาต์พุตสำหรับสแต็กปรากฏขึ้นเสร็จสมบูรณ์ เราจะใช้สิ่งเหล่านี้ในขั้นตอนถัดไปเพื่อกำหนดค่า UI
ในการกำหนดค่า UI เราจำเป็นต้องใช้เอาต์พุตสแต็กบางส่วน
ไปที่คอนโซลสำหรับบัญชี AWS ที่คุณปรับใช้และไปที่ Cloudformation จากนั้นไปที่ Stacks
ค้นหาสแต็ก $STACK_NAME
เปิดแล้วไปที่แท็บเอาต์พุต
ในเครื่อง ให้เปิด ui/src/aws-exports.js
ในเครื่องเพื่อแก้ไขไฟล์
กรอกค่าต่อไปนี้ใน aws-exports.js
ด้วยตัวแปรที่เกี่ยวข้องบนแท็บ Outpts ของ Cloudformation Stacks:
aws_project_region: $Region ,
aws_cognito_region: $Region ,
aws_user_files_s3_bucket_region: $Region ,
aws_user_files_s3_bucket: $S3Bucket ,
aws_cloud_logic_custom: [
{
name: " api " ,
endpoint: " $Endpoint " ,
},
],
aws_user_pools_id: $UserPoolsId ,
aws_cognito_identity_pool_id: $IdentityPoolId ,
aws_user_pools_web_client_id: $UserPoolsWebClientId ,
ต่อไป เราต้องสร้างผู้ใช้ใน Amazon Cognito เพื่อเข้าถึงแอปพลิเคชัน เปิด Amazon Cognito ในคอนโซล AWS และค้นหากลุ่มผู้ใช้ จะมีชื่อว่า UserPool-$UserPoolsId
ใต้แท็บผู้ใช้ เลือกสร้างผู้ใช้แล้วทำตามขั้นตอนเพื่อตั้งค่าบัญชีของคุณสำหรับการเข้าถึง UI
หากต้องการสร้างส่วนหน้าให้รันในเครื่อง:
cd ui
npm install
จากนั้นคุณสามารถโฮสต์ส่วนหน้าในเครื่องเพื่อวัตถุประสงค์ในการสาธิตได้โดยใช้
npm run dev
นี่จะให้ URL ของโฮสต์ท้องถิ่นเพื่อเข้าถึงแอปพลิเคชัน
ไปที่โฟลเดอร์ dist ใต้โฟลเดอร์ ui แล้วเลือกไฟล์ทั้งหมดด้วยตนเองและสร้างไฟล์ zip คุณสามารถเปลี่ยนชื่อเป็น ui.zip ได้
เข้าสู่ระบบคอนโซล AWS และไปที่ AWS Amplify
เลือก Create new app
เลือก Deploy without Git
จากนั้นเลือกถัดไป
ไปที่พื้นที่เก็บข้อมูลในเครื่องของคุณและจากโฟลเดอร์ ui
ให้รัน:
npm run build
สิ่งนี้จะสร้างโฟลเดอร์ ui/dist
จากนั้นให้บีบอัดโฟลเดอร์ dist
cd dist
zip -r $STACK_NAME *
กลับไปที่คอนโซล AWS Amplify และอัปโหลดไฟล์ zip ที่สร้างขึ้นใหม่ จากนั้นกด Save and deploy
เมื่อสำเร็จ เพจจะปรากฏขึ้นพร้อมลิงก์ Domain
คลิกที่นี่ จากนั้นระบบจะนำคุณไปยังแอปพลิเคชันที่ปรับใช้ของคุณ
ใช้ผู้ใช้ที่สร้างในขั้นตอนก่อนหน้าเพื่อล็อกอินเข้าสู่แอปพลิเคชัน
เพื่อหลีกเลี่ยงไม่ให้มีการเรียกเก็บเงินในอนาคต โปรดล้างทรัพยากรที่สร้างขึ้น
sam delete $STACK_NAME
เปิด AWS Amplify ในคอนโซล AWS และเลือกการดำเนินการ "ลบแอป" สำหรับการขยายโฮสต์ของคุณ