text summarization llm app

แอปสรุปข้อความ LLM

• ใบอนุญาต: (MIT) ลิขสิทธิ์ (C) 2024 ผู้แต่ง Phil Chen
  • นี่เป็นตัวอย่างแอปพลิเคชันที่ผู้เขียนพื้นที่เก็บข้อมูลนี้ไม่รับผิดชอบต่อความเสียหายหรือความสูญเสียที่เกิดขึ้นจากการใช้งานหรือการไม่สามารถใช้โค้ดของคุณได้

คำอธิบาย

Repo นี้เป็นแอปตัวอย่างที่แสดงการสรุปข้อความโดยใช้ประโยชน์จากโมเดล Minstral Large ที่พร้อมใช้งานจาก AWS Bedrock สำหรับส่วนหน้า UI Streamlit กำลังถูกใช้

ข้อกำหนดเบื้องต้นสำหรับการตั้งค่าภายในเครื่อง macOS

• บัญชีบริการเว็บ Amazon
• เปิดใช้งานการเข้าถึง Amazon Bedrock (โดยเฉพาะ Mistral-Large) โปรดดู: จัดการการเข้าถึงโมเดลพื้นฐานของ Amazon Bedrock
• ติดตั้ง AWS CLI แล้ว
• ผู้ใช้ AWS CLI IAM พร้อมการเข้าถึง Amazon Bedrock เต็มรูปแบบ
• ตรวจสอบแล้วบน Python 3.10, 3.11, 3.12
• ติดตั้งอนาคอนดาหรือมินิคอนดาแล้ว
• ภูมิภาคเริ่มต้นของ AWS ถูกตั้งค่าเป็น us-east-1 คุณสามารถเปลี่ยนภูมิภาคได้ในไฟล์ text_summarization_llm_app.py ภายใต้ region_name='us-east-1'

ข้อกำหนดเบื้องต้นสำหรับการตั้งค่าอินสแตนซ์ EC2 Ubuntu Linux

• บัญชีบริการเว็บ Amazon
• เปิดใช้งานการเข้าถึง Amazon Bedrock (โดยเฉพาะ Mistral-Large) โปรดดู: จัดการการเข้าถึงโมเดลพื้นฐานของ Amazon Bedrock
• บทบาทอินสแตนซ์ EC2 พร้อมแนบนโยบาย AmazonBedrockFullAccess (โปรดทราบว่าคุณสามารถทำให้สิ่งนี้ปลอดภัยยิ่งขึ้นด้วยการสร้างนโยบายที่กำหนดเอง)
• ตรวจสอบแล้วบน Python 3.10, 3.11, 3.12
• ตรวจสอบแล้วบน EC2 Instance Ubuntu 22.04 และ Ubuntu 24.04
• สภาพแวดล้อมเสมือนจริง
• ภูมิภาคเริ่มต้นของ AWS ถูกตั้งค่าเป็น us-east-1 คุณสามารถเปลี่ยนภูมิภาคได้ในไฟล์ text_summarization_llm_app.py ภายใต้ region_name='us-east-1'

ต้นทุนทรัพยากร AWS

เช่นเดียวกับบริการ AWS ส่วนใหญ่ คุณจะต้องเสียค่าใช้จ่ายในการใช้งาน

• ราคา:
  • https://aws.amazon.com/bedrock/pricing/
  • https://aws.amazon.com/ec2/pricing/on-demand/

การตั้งค่าท้องถิ่นของแล็ปท็อป macOS

 conda create -n "text-summarization-llm-app" python=3.11.0

git clone [email protected]:nethacker/text-summarization-llm-app.git

cd text-summarization-llm-app

pip install -r requirements.txt

เรียกใช้การตั้งค่าภายในแล็ปท็อป macOS

เพื่อเรียกใช้การสรุปข้อความโดยใช้ประโยชน์จาก AWS Bedrock (Mistral-Large)

 streamlit run text_summarization_llm_app.py

คุณสามารถเข้าถึงแอปได้ที่ http://localhost:8501/

ขั้นตอนการตั้งค่าอินสแตนซ์ EC2 Ubuntu linux

(สมมติว่าคุณมีผู้ใช้ Ubuntu ด้วย /home/ubuntu)

ติดตั้งการพึ่งพาบางส่วน

 sudo apt -y update

sudo apt -y install build-essential openssl

sudo apt -y install libpq-dev libssl-dev libffi-dev zlib1g-dev

sudo apt -y install python3-pip python3-dev

sudo apt -y install nginx

sudo apt -y install virtualenvwrapper

โคลนพื้นที่เก็บข้อมูล GIT

 cd /home/ubuntu

git clone https://github.com/nethacker/text-summarization-llm-app.git

ตั้งค่าสภาพแวดล้อม Python

 virtualenv text-summarization-llm-app_env

source text-summarization-llm-app_env/bin/activate

ติดตั้งการขึ้นต่อกันของแพ็คเกจแอปพลิเคชัน Text Summarization LLM

 cd /home/ubuntu/text-summarization-llm-app

pip install -r requirements.txt

ตั้งค่า systemd เพื่อ daemonize แอปพลิเคชัน Text Summarization LLM (พอร์ต 8080)

 sudo cp systemd/text-summarization-llm-app.service /etc/systemd/system/

sudo systemctl start text-summarization-llm-app

sudo systemctl enable text-summarization-llm-app.service

ติดตั้ง NGINX เพื่อช่วยปรับขนาดและจัดการการเชื่อมต่อ (พอร์ต 80)

 sudo cp nginx/nginx_text-summarization-llm-app.conf /etc/nginx/sites-available/nginx_text-summarization-llm-app.conf

sudo rm /etc/nginx/sites-enabled/default

sudo ln -s /etc/nginx/sites-available/nginx_text-summarization-llm-app.conf /etc/nginx/sites-enabled

sudo systemctl restart nginx

คุณสามารถเข้าถึงแอปได้ที่ http://{yourhost}

หมายเหตุ

• ตรวจสอบให้แน่ใจว่าได้เปิดพอร์ต 80 ในกลุ่มความปลอดภัย EC2 ของคุณที่เกี่ยวข้องกับอินสแตนซ์
• สำหรับ HTTPS (TLS) คุณสามารถใช้ AWS ALB หรือ AWS CloudFront
• แอปพลิเคชันนี้ไม่คำนึงถึงการควบคุมความปลอดภัย นั่นคือความรับผิดชอบของคุณ
• โปรดอ่านคำถามที่พบบ่อยเกี่ยวกับ Amazon Bedrock สำหรับคำถามทั่วไปเกี่ยวกับทรัพยากร AWS LLM ที่ใช้