text summarization llm app

APLIKASI LLM Peringkasan Teks

• Lisensi: (MIT), Hak Cipta (C) 2024, Penulis Phil Chen
  • Ini adalah contoh aplikasi pembuat repositori ini tidak bertanggung jawab atas kerusakan atau kerugian yang timbul dari penggunaan atau ketidakmampuan Anda menggunakan kode.

Keterangan

Repo ini adalah contoh aplikasi yang menunjukkan ringkasan teks yang memanfaatkan model Minstral Large yang tersedia dari AWS Bedrock. Untuk UI frontend Streamlit sedang digunakan.

Prasyarat untuk pengaturan lokal macOS

• Akun Layanan Web Amazon
• Aktifkan Akses Amazon Bedrock (Khususnya Mistral-Besar) lihat: Mengelola akses ke model pondasi Amazon Bedrock
• AWS CLI diinstal
• Pengguna IAM AWS CLI dengan Akses Amazon Bedrock Penuh
• Diverifikasi pada Python 3.10, 3.11, 3.12
• Anaconda atau Miniconda terpasang
• Wilayah Default AWS diatur ke us-east-1 Anda dapat mengubah wilayah di file text_summarization_llm_app.py di bawah region_name='us-east-1'

Prasyarat untuk pengaturan instans EC2 Ubuntu Linux

• Akun Layanan Web Amazon
• Aktifkan Akses Amazon Bedrock (Khususnya Mistral-Besar) lihat: Mengelola akses ke model pondasi Amazon Bedrock
• Peran Instans EC2 dengan Kebijakan AmazonBedrockFullAccess Terlampir (perhatikan bahwa Anda dapat membuatnya lebih aman dengan membuat kebijakan khusus)
• Diverifikasi pada Python 3.10, 3.11, 3.12
• Diverifikasi pada Instans EC2 Ubuntu 22.04 dan Ubuntu 24.04
• lingkungan virtual
• Wilayah Default AWS diatur ke us-east-1 Anda dapat mengubah wilayah di file text_summarization_llm_app.py di bawah region_name='us-east-1'

Biaya Sumber Daya AWS

Seperti kebanyakan layanan AWS, Anda akan dikenakan biaya penggunaan.

• Harga:
  • https://aws.amazon.com/bedrock/pricing/
  • https://aws.amazon.com/ec2/pricing/on-demand/

pengaturan lokal laptop macOS

 conda create -n "text-summarization-llm-app" python=3.11.0

git clone [email protected]:nethacker/text-summarization-llm-app.git

cd text-summarization-llm-app

pip install -r requirements.txt

Jalankan pengaturan lokal laptop macOS

Untuk menjalankan peringkasan teks dengan memanfaatkan AWS Bedrock (Mistral-Large)

 streamlit run text_summarization_llm_app.py

Anda dapat mengakses aplikasinya di http://localhost:8501/

Langkah-langkah pengaturan instans linux Ubuntu EC2

(asumsikan Anda memiliki pengguna ubuntu dengan/home/ubuntu)

Instal beberapa dependensi

 sudo apt -y update

sudo apt -y install build-essential openssl

sudo apt -y install libpq-dev libssl-dev libffi-dev zlib1g-dev

sudo apt -y install python3-pip python3-dev

sudo apt -y install nginx

sudo apt -y install virtualenvwrapper

Kloning Repositori GIT

 cd /home/ubuntu

git clone https://github.com/nethacker/text-summarization-llm-app.git

Siapkan lingkungan Python

 virtualenv text-summarization-llm-app_env

source text-summarization-llm-app_env/bin/activate

Instal dependensi paket aplikasi Text Summarization LLM

 cd /home/ubuntu/text-summarization-llm-app

pip install -r requirements.txt

Atur systemd untuk melakukan daemonisasi aplikasi Text Summarization LLM (Port 8080)

 sudo cp systemd/text-summarization-llm-app.service /etc/systemd/system/

sudo systemctl start text-summarization-llm-app

sudo systemctl enable text-summarization-llm-app.service

Instal NGINX untuk membantu menskalakan dan menangani koneksi (Port 80)

 sudo cp nginx/nginx_text-summarization-llm-app.conf /etc/nginx/sites-available/nginx_text-summarization-llm-app.conf

sudo rm /etc/nginx/sites-enabled/default

sudo ln -s /etc/nginx/sites-available/nginx_text-summarization-llm-app.conf /etc/nginx/sites-enabled

sudo systemctl restart nginx

Anda dapat mengakses aplikasi di http://{yourhost} .

Catatan

• Pastikan untuk membuka port 80 di Grup Keamanan EC2 Anda yang terkait dengan instans.
• Untuk HTTPS (TLS) Anda dapat menggunakan AWS ALB atau AWS CloudFront
• Aplikasi ini tidak mempertimbangkan kontrol keamanan, itu adalah tanggung jawab Anda.
• Silakan baca FAQ Amazon Bedrock untuk pertanyaan umum tentang sumber daya AWS LLM yang digunakan.