pankb_llm

PanKB LLM (개발자)

개요

Langchain + Streamlit + Azure Cosmos DB for MongoDB(vCore) + Docker를 기반으로 하는 GenAI 도우미입니다.

저자:

• 데이터 전처리, LLM, DEV 벡터 DB 생성(Chroma), 검색기, Streamlit 웹 앱: Binhuan Sun, [email protected]
• DEV 벡터 DB(Chroma)를 PROD 벡터 DB 인스턴스(MongoDB용 Azure Cosmos DB(vCore))로 변경하고 Cosmos DB 제한 사항에 대한 임베딩 선택 조정, PROD DB 인덱스 생성, Docker화, Streamlit 앱 통합 Django 프레임워크 템플릿, github 저장소 유지 관리: Pashkova Liubov, [email protected]

서버 구성

Linux Ubuntu 20.04에서 테스트되었습니다(다른 시스템에서는 조정이 필요할 수 있음).

AI Assistant 앱 배포 및 벡터 데이터베이스 생성을 위한 최소 하드웨어 요구 사항(PanKB DB, ETL 및 AI Assistant 앱 제외):

• 8GB RAM
• 8GB 디스크 공간
• CPU 코어 4개(예: PyCharm Remote IDE 개발용)

시스템 요구 사항:

• 도커 및 도커 작성
• 힘내

중요한 고려사항 및 제한사항

DB 채우기 프로세스는 최대 90~150분 정도 걸릴 수 있습니다. DEV 서버 및 Cosmos DB 분할된 클러스터 구성에 따라 다릅니다. 채워진 컬렉션이 포함된 MongoDB 스토리지 크기는 ~ 1.0 GiB입니다. 인덱스.

다음 제한 사항 및 고려 사항에 유의하세요.

• MongoDB용 Azure Cosmos DB 인스턴스를 벡터 DB로 사용하는 경우 MongoDB용 Azure Cosmos DB의 경우 지원되는 최대 차원 수가 2000개이므로 차원이 2000 미만인 포함만 시도할 수 있습니다. 임베딩은 비용이 더 많이 들고 항상 성능이 크게 향상되는 것은 아닙니다. 예: https://platform.openai.com/docs/guides/embeddings
• 유사성 지수를 생성해야 합니다. 이 인덱스의 차원은 임베딩의 차원과 동일해야 합니다.
• Azure M30 계층(MongoDB용 Azure Cosmos DB)은 벡터-ivf 인덱스 유형만 지원합니다. 벡터-hnsw 인덱스를 생성하려면 M40 계층으로 업그레이드해야 합니다(Azure Portal에서 "고가용성" 옵션을 선택하지 않으면 M30보다 두 배 더 많은 비용이 듭니다).
• 데이터를 삽입하기 전에 HNSW 인덱스를 생성해야 합니다(단, 전체 데이터 삽입 시간이 크게 늘어납니다). 나중에 그렇게 하면 시간 초과 유형의 오류를 피할 수 없습니다. 그 이유는 IaaS를 사용하는 경우 우리 측에서 변경할 수 없는 클러스터 구성 옵션 때문일 수 있습니다.
• HNSW 인덱싱 알고리즘과 해당 매개변수(예: efConstruction 및 M)에 대한 가장 포괄적인 설명은 https://www.pinecone.io/learn/series/faiss/hnsw/에 나와 있습니다. 현재 매개변수는 초기에 개발 벡터 db로 사용되었던 ChromaDB의 기본 설정에 따라 선택되었기 때문에 최적이 아닐 수 있습니다.

스크립트 실행

다음 형식으로 .env 파일을 만듭니다.

 ## Do not put this file under version control!

OPENAI_API_KEY=<insert the API key here without quotes>
COHERE_API_KEY=<insert the API key here without quotes>
TOGETHER_API_KEY=<insert the API key here without quotes>
GOOGLE_API_KEY=<insert the API key here without quotes>
ANTHROPIC_API_KEY=<insert the API key here without quotes>
REPLICATE_API_TOKEN=<insert the API key here without quotes>
VOYAGE_API_KEY=<insert the API key here without quotes>

## MongoDB-PROD (Azure Cosmos DB for MongoDB) Connection String
# Had to multiply maxIdleTimeMS by 10 to handle
# urllib3.exceptions.ProtocolError: 
# ("Connection broken: ConnectionResetError(104, 'Connection reset by peer')", ConnectionResetError(104, 'Connection reset by peer'))
MONGODB_CONN_STRING = "<insert the connection string here with quotes>"

DB 채우기 스크립트는 Docker 컨테이너에서 실행될 필요가 없습니다. 다음 명령을 사용하여 수행할 수 있습니다.

 # install all the requirements and dependencies
pip3 install -r requirements.txt

# Run the script with two command line arguments: 
# the name of the folder containing the documents to feed to the LLM 
# and 
# the name of the MongoDB collection that will contain the vector DB
python3 make_vectordb.py ./Paper_all pankb_vector_store

Docker 이미지를 빌드하고 내부 Streamlit 앱을 사용하여 Docker 컨테이너를 다시 생성하는 명령은 다음과 같습니다.

 docker compose up -d --build --force-recreate

dockerized streamlit 앱은 tmux 에서 실행될 필요가 없습니다. VM이 재부팅된 후에도 항상 실행됩니다( restart: always docker compose 파일에서).

Docker 컨테이너의 상태는 다음 명령으로 확인할 수 있습니다.

 docker ps

명령은 대략적인 결과를 생성해야 합니다. 성공적인 배포의 경우 다음과 같은 출력이 표시됩니다.

 CONTAINER ID   IMAGE                COMMAND                  CREATED          STATUS          PORTS                                           NAMES
54d89d7c4fad   pankb_llm:latest     "streamlit run strea…"   10 minutes ago   Up 10 minutes   0.0.0.0:8501->8501/tcp, :::8501->8501/tcp       pankb-llm