text summarization llm app

文本摘要LLM APP

• 許可證：（麻省理工學院），版權所有 (C) 2024，作者 Phil Chen
  • 這是一個範例應用程序，該儲存庫的作者對因使用或無法使用該程式碼而造成的損害或損失不承擔任何責任。

描述

此儲存庫是一個範例應用程序，顯示利用 AWS Bedrock 提供的 Minstral Large 模型進行文字摘要。對於前端 UI，正在使用 Streamlit。

macOS 本機設定的先決條件

• 亞馬遜網路服務帳戶
• 啟用 Amazon Bedrock 存取（特別是 Mistral-Large）請參閱：管理對 Amazon Bedrock 基礎模型的訪問
• AWS CLI 已安裝
• 具有完全 Amazon Bedrock 存取權限的 AWS CLI IAM 用戶
• 在 Python 3.10、3.11、3.12 上驗證
• 安裝了 Anaconda 或 Miniconda
• AWS 預設區域設定為 us-east-1 您可以變更text_summarization_llm_app.py檔案中的region_name='us-east-1'下的區域

EC2 Ubuntu Linux 執行個體設定的先決條件

• 亞馬遜網路服務帳戶
• 啟用 Amazon Bedrock 存取（特別是 Mistral-Large）請參閱：管理對 Amazon Bedrock 基礎模型的訪問
• 附加了 AmazonBedrockFullAccess 策略的 EC2 執行個體角色（請注意，您可以透過制定自訂策略來使其更加安全）
• 在 Python 3.10、3.11、3.12 上驗證
• 已在 EC2 執行個體 Ubuntu 22.04 和 Ubuntu 24.04 上驗證
• 虛擬環境
• AWS 預設區域設定為 us-east-1 您可以變更text_summarization_llm_app.py檔案中的region_name='us-east-1'下的區域

AWS 資源成本

與大多數 AWS 服務一樣，您將產生使用費用。

• 定價：
  • https://aws.amazon.com/bedrock/pricing/
  • https://aws.amazon.com/ec2/pricing/on-demand/

macOS 筆記型電腦本地設置

 conda create -n "text-summarization-llm-app" python=3.11.0

git clone [email protected]:nethacker/text-summarization-llm-app.git

cd text-summarization-llm-app

pip install -r requirements.txt

運行 macOS 筆記型電腦本地設置

利用 AWS Bedrock (Mistral-Large) 來運行文字摘要

 streamlit run text_summarization_llm_app.py

您可以透過http://localhost:8501/存取該應用程式

EC2 Ubuntu Linux 執行個體設定步驟

（假設您有一個 ubuntu 使用者 /home/ubuntu）

安裝一些依賴項

 sudo apt -y update

sudo apt -y install build-essential openssl

sudo apt -y install libpq-dev libssl-dev libffi-dev zlib1g-dev

sudo apt -y install python3-pip python3-dev

sudo apt -y install nginx

sudo apt -y install virtualenvwrapper

克隆 GIT 儲存庫

 cd /home/ubuntu

git clone https://github.com/nethacker/text-summarization-llm-app.git

設定Python環境

 virtualenv text-summarization-llm-app_env

source text-summarization-llm-app_env/bin/activate

安裝文字摘要LLM應用程式套件依賴項

 cd /home/ubuntu/text-summarization-llm-app

pip install -r requirements.txt

設定 systemd 來守護文字摘要 LLM 應用程式（連接埠 8080）

 sudo cp systemd/text-summarization-llm-app.service /etc/systemd/system/

sudo systemctl start text-summarization-llm-app

sudo systemctl enable text-summarization-llm-app.service

安裝 NGINX 以協助擴充和處理連接（連接埠 80）

 sudo cp nginx/nginx_text-summarization-llm-app.conf /etc/nginx/sites-available/nginx_text-summarization-llm-app.conf

sudo rm /etc/nginx/sites-enabled/default

sudo ln -s /etc/nginx/sites-available/nginx_text-summarization-llm-app.conf /etc/nginx/sites-enabled

sudo systemctl restart nginx

您可以透過http://{yourhost}存取該應用程式。

筆記

• 確保在與執行個體關聯的 EC2 安全性群組中開啟連接埠 80。
• 對於 HTTPS (TLS)，您可以使用 AWS ALB 或 AWS CloudFront
• 此應用程式不考慮安全控制，這是您的責任。
• 請閱讀 Amazon Bedrock 常見問題解答，以了解有關所使用的 AWS LLM 資源的一般問題。