text summarization llm app

文本摘要LLM APP

• 许可证：（麻省理工学院），版权所有 (C) 2024，作者 Phil Chen
  • 这是一个示例应用程序，该存储库的作者对因使用或无法使用该代码而造成的损害或损失不承担任何责任。

描述

此存储库是一个示例应用程序，显示利用 AWS Bedrock 提供的 Minstral Large 模型进行文本摘要。对于前端 UI，正在使用 Streamlit。

macOS 本地设置的先决条件

• 亚马逊网络服务帐户
• 启用 Amazon Bedrock 访问（特别是 Mistral-Large）请参阅：管理对 Amazon Bedrock 基础模型的访问
• AWS CLI 已安装
• 具有完全 Amazon Bedrock 访问权限的 AWS CLI IAM 用户
• 在 Python 3.10、3.11、3.12 上验证
• 安装了 Anaconda 或 Miniconda
• AWS 默认区域设置为 us-east-1 您可以更改text_summarization_llm_app.py文件中的region_name='us-east-1'下的区域

EC2 Ubuntu Linux 实例设置的先决条件

• 亚马逊网络服务帐户
• 启用 Amazon Bedrock 访问（特别是 Mistral-Large）请参阅：管理对 Amazon Bedrock 基础模型的访问
• 附加了 AmazonBedrockFullAccess 策略的 EC2 实例角色（请注意，您可以通过制定自定义策略来使其更加安全）
• 在 Python 3.10、3.11、3.12 上验证
• 已在 EC2 实例 Ubuntu 22.04 和 Ubuntu 24.04 上验证
• 虚拟环境
• AWS 默认区域设置为 us-east-1 您可以更改text_summarization_llm_app.py文件中的region_name='us-east-1'下的区域

AWS 资源成本

与大多数 AWS 服务一样，您将产生使用费用。

• 定价：
  • https://aws.amazon.com/bedrock/pricing/
  • https://aws.amazon.com/ec2/pricing/on-demand/

macOS 笔记本电脑本地设置

 conda create -n "text-summarization-llm-app" python=3.11.0

git clone [email protected]:nethacker/text-summarization-llm-app.git

cd text-summarization-llm-app

pip install -r requirements.txt

运行 macOS 笔记本电脑本地设置

利用 AWS Bedrock (Mistral-Large) 运行文本摘要

 streamlit run text_summarization_llm_app.py

您可以通过http://localhost:8501/访问该应用程序

EC2 Ubuntu Linux 实例设置步骤

（假设您有一个 ubuntu 用户 /home/ubuntu）

安装一些依赖项

 sudo apt -y update

sudo apt -y install build-essential openssl

sudo apt -y install libpq-dev libssl-dev libffi-dev zlib1g-dev

sudo apt -y install python3-pip python3-dev

sudo apt -y install nginx

sudo apt -y install virtualenvwrapper

克隆 GIT 存储库

 cd /home/ubuntu

git clone https://github.com/nethacker/text-summarization-llm-app.git

设置Python环境

 virtualenv text-summarization-llm-app_env

source text-summarization-llm-app_env/bin/activate

安装文本摘要LLM应用程序包依赖项

 cd /home/ubuntu/text-summarization-llm-app

pip install -r requirements.txt

设置 systemd 来守护文本摘要 LLM 应用程序（端口 8080）

 sudo cp systemd/text-summarization-llm-app.service /etc/systemd/system/

sudo systemctl start text-summarization-llm-app

sudo systemctl enable text-summarization-llm-app.service

安装 NGINX 以帮助扩展和处理连接（端口 80）

 sudo cp nginx/nginx_text-summarization-llm-app.conf /etc/nginx/sites-available/nginx_text-summarization-llm-app.conf

sudo rm /etc/nginx/sites-enabled/default

sudo ln -s /etc/nginx/sites-available/nginx_text-summarization-llm-app.conf /etc/nginx/sites-enabled

sudo systemctl restart nginx

您可以通过http://{yourhost}访问该应用程序。

笔记

• 确保在与实例关联的 EC2 安全组中打开端口 80。
• 对于 HTTPS (TLS)，您可以使用 AWS ALB 或 AWS CloudFront
• 此应用程序不考虑安全控制，这是您的责任。
• 请阅读 Amazon Bedrock 常见问题解答，了解有关所使用的 AWS LLM 资源的一般问题。