text summarization llm app

텍스트 요약 LLM 앱

• 라이센스: (MIT), 저작권 (C) 2024, 저자 Phil Chen
  • 이것은 예시 애플리케이션입니다. 이 저장소의 작성자는 귀하의 코드 사용 또는 사용 불가능으로 인해 발생하는 손해나 손실에 대해 책임을 지지 않습니다.

설명

이 리포지토리는 AWS Bedrock에서 제공되는 Minstral Large 모델을 활용하는 텍스트 요약을 보여주는 예제 앱입니다. 프론트엔드 UI로는 Streamlit을 사용하고 있습니다.

macOS 로컬 설정을 위한 전제 조건

• Amazon 웹 서비스 계정
• Amazon Bedrock 액세스 활성화(특히 Mistral-Large) 참조: Amazon Bedrock 기반 모델에 대한 액세스 관리
• AWS CLI가 설치됨
• 전체 Amazon Bedrock 액세스 권한이 있는 AWS CLI IAM 사용자
• Python 3.10, 3.11, 3.12에서 확인됨
• Anaconda 또는 Miniconda 설치
• AWS 기본 지역은 us-east-1로 설정되어 있습니다 region_name='us-east-1' 아래의 text_summarization_llm_app.py 파일에서 지역을 변경할 수 있습니다.

EC2 Ubuntu Linux 인스턴스 설정을 위한 사전 요구 사항

• Amazon 웹 서비스 계정
• Amazon Bedrock 액세스 활성화(특히 Mistral-Large) 참조: Amazon Bedrock 기반 모델에 대한 액세스 관리
• AmazonBedrockFullAccess 정책이 연결된 EC2 인스턴스 역할(사용자 지정 정책을 만들어 이를 더욱 안전하게 만들 수 있음)
• Python 3.10, 3.11, 3.12에서 확인됨
• EC2 인스턴스 Ubuntu 22.04 및 Ubuntu 24.04에서 확인됨
• 가상 환경
• AWS 기본 지역은 us-east-1로 설정되어 있습니다 region_name='us-east-1' 아래의 text_summarization_llm_app.py 파일에서 지역을 변경할 수 있습니다.

AWS 리소스 비용

대부분의 AWS 서비스와 마찬가지로 사용 비용이 발생합니다.

• 가격:
  • https://aws.amazon.com/bedrock/pricing/
  • https://aws.amazon.com/ec2/pricing/on-demand/

macOS 노트북 로컬 설정

 conda create -n "text-summarization-llm-app" python=3.11.0

git clone [email protected]:nethacker/text-summarization-llm-app.git

cd text-summarization-llm-app

pip install -r requirements.txt

macOS 노트북 로컬 설정 실행

AWS Bedrock(Mistral-Large)을 활용하여 텍스트 요약을 실행하려면

 streamlit run text_summarization_llm_app.py

http://localhost:8501/ 에서 앱에 접속할 수 있습니다.

EC2 Ubuntu Linux 인스턴스 설정 단계

(/home/ubuntu를 사용하는 우분투 사용자가 있다고 가정)

일부 종속성 설치

 sudo apt -y update

sudo apt -y install build-essential openssl

sudo apt -y install libpq-dev libssl-dev libffi-dev zlib1g-dev

sudo apt -y install python3-pip python3-dev

sudo apt -y install nginx

sudo apt -y install virtualenvwrapper

GIT 저장소 복제

 cd /home/ubuntu

git clone https://github.com/nethacker/text-summarization-llm-app.git

Python 환경 설정

 virtualenv text-summarization-llm-app_env

source text-summarization-llm-app_env/bin/activate

텍스트 요약 LLM 애플리케이션 패키지 종속성 설치

 cd /home/ubuntu/text-summarization-llm-app

pip install -r requirements.txt

텍스트 요약 LLM 애플리케이션을 데몬화하도록 systemd 설정(포트 8080)

 sudo cp systemd/text-summarization-llm-app.service /etc/systemd/system/

sudo systemctl start text-summarization-llm-app

sudo systemctl enable text-summarization-llm-app.service

연결 확장 및 처리를 돕기 위해 NGINX 설치(포트 80)

 sudo cp nginx/nginx_text-summarization-llm-app.conf /etc/nginx/sites-available/nginx_text-summarization-llm-app.conf

sudo rm /etc/nginx/sites-enabled/default

sudo ln -s /etc/nginx/sites-available/nginx_text-summarization-llm-app.conf /etc/nginx/sites-enabled

sudo systemctl restart nginx

http://{yourhost} 에서 앱에 접속할 수 있습니다.

메모

• 인스턴스에 연결된 EC2 보안 그룹에서 포트 80을 열어야 합니다.
• HTTPS(TLS)의 경우 AWS ALB 또는 AWS CloudFront를 사용할 수 있습니다.
• 이 애플리케이션은 보안 통제를 고려하지 않습니다. 이는 귀하의 책임입니다.
• 사용된 AWS LLM 리소스에 대한 일반적인 질문은 Amazon Bedrock FAQ를 읽어보십시오.