หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>โค้ดแหล่งที่มา AI
ดาวน์โหลด

PanKB LLM (DEV)

ภาพรวม

ผู้ช่วย GenAI ที่ใช้ Langchain + Streamlit + Azure Cosmos DB สำหรับ MongoDB (vCore) + Docker

ผู้เขียน:

  • การประมวลผลข้อมูลล่วงหน้า, LLM, การสร้างฐานข้อมูลเวกเตอร์ DEV (Chroma), รีทรีฟเวอร์, เว็บแอป Streamlit: Binhuan Sun, [email protected]
  • การเปลี่ยน DEV vector DB (Chroma) เป็นอินสแตนซ์ PROD vector DB (Azure Cosmos DB สำหรับ MongoDB (vCore)) และการปรับตัวเลือกการฝังตามข้อ จำกัด Cosmos DB การสร้างดัชนี PROD DB การเทียบท่า การรวมแอพ streamlit ด้วย เทมเพลตเฟรมเวิร์ก Django, การบำรุงรักษา repo github: Pashkova Liubov, [email protected]

การกำหนดค่าเซิร์ฟเวอร์

ทดสอบบน Linux Ubuntu 20.04 (อาจต้องปรับแต่งสำหรับระบบอื่น)

ข้อกำหนดฮาร์ดแวร์ขั้นต่ำสำหรับการปรับใช้แอป AI Assistant และการสร้างฐานข้อมูล Vector เท่านั้น (ไม่รวมแอป PanKB DB, ETL และ AI Assistant):

  • แรม 8GB
  • พื้นที่ดิสก์ 8GB
  • CPU 4 คอร์ (เช่น สำหรับการพัฒนา PyCharm Remote IDE)

ความต้องการของระบบ:

  • นักเทียบท่าและนักเทียบท่าเขียน
  • คอมไพล์

ข้อควรพิจารณาและข้อจำกัดที่สำคัญ

กระบวนการเติมข้อมูล DB อาจใช้เวลานานถึง 90-150 นาที ขึ้นอยู่กับเซิร์ฟเวอร์ DEV และการกำหนดค่าคลัสเตอร์ที่แบ่งส่วน Cosmos DB ขนาดพื้นที่เก็บข้อมูล MongoDB ของคอลเลกชันที่มีประชากรคือ ~ 1.0 GiB รวม ดัชนี

โปรดทราบข้อจำกัดและข้อควรพิจารณาต่อไปนี้:

  • หากเราใช้ Azure Cosmos DB สำหรับอินสแตนซ์ MongoDB เป็น vector DB เราจะลองฝังได้เฉพาะขนาด <= 2000 เท่านั้น เนื่องจากสำหรับ Azure Cosmos DB สำหรับ MongoDB จำนวนมิติที่รองรับสูงสุดคือ 2000 บางทีมันอาจจะดีกว่าหรือใหญ่กว่าก็ได้ การฝังมีราคาแพงกว่าและไม่ได้เพิ่มประสิทธิภาพอย่างมีนัยสำคัญเสมอไป ตัวอย่าง: https://platform.openai.com/docs/guides/embeddings
  • เราต้องสร้างดัชนีความคล้ายคลึงกัน ขนาดของดัชนีนี้จะต้องเหมือนกับขนาดของการฝัง
  • ระดับ Azure M30 (Azure Cosmos DB สำหรับ MongoDB) รองรับเฉพาะประเภทดัชนี vector-ivf ในการสร้างดัชนี vector-hnsw เราต้องอัปเกรดเป็นระดับ M40 (มีค่าใช้จ่ายมากกว่า M30 สองเท่าหากเราไม่เลือกตัวเลือก "ความพร้อมใช้งานสูง" บนพอร์ทัล Azure)
  • เราต้องสร้างดัชนี HNSW ก่อนการแทรกข้อมูล (แม้ว่าจะเพิ่มเวลาการแทรกข้อมูลทั้งหมดอย่างมีนัยสำคัญก็ตาม) หากเราทำหลังจากนั้น เราจะไม่สามารถหลีกเลี่ยงข้อผิดพลาดประเภทการหมดเวลาได้ สาเหตุอาจเป็นตัวเลือกการกำหนดค่าคลัสเตอร์ที่เราไม่สามารถเปลี่ยนแปลงจากฝั่งของเราได้หากเราใช้ IaaS
  • คำอธิบายที่ครอบคลุมที่สุดของอัลกอริทึมการจัดทำดัชนี HNSW และพารามิเตอร์ (เช่น efConstruction และ M) มีอยู่ที่นี่: https://www.pinecone.io/learn/series/faiss/hnsw/ พารามิเตอร์ปัจจุบันของเราอาจไม่เหมาะสม เนื่องจากถูกเลือกตามการตั้งค่าเริ่มต้นของ ChromaDB ซึ่งเริ่มแรกทำหน้าที่เป็นฐานข้อมูลเวกเตอร์การพัฒนา

การดำเนินการสคริปต์

สร้างไฟล์ .env ในรูปแบบต่อไปนี้: 

 ## Do not put this file under version control!

OPENAI_API_KEY=<insert the API key here without quotes>
COHERE_API_KEY=<insert the API key here without quotes>
TOGETHER_API_KEY=<insert the API key here without quotes>
GOOGLE_API_KEY=<insert the API key here without quotes>
ANTHROPIC_API_KEY=<insert the API key here without quotes>
REPLICATE_API_TOKEN=<insert the API key here without quotes>
VOYAGE_API_KEY=<insert the API key here without quotes>

## MongoDB-PROD (Azure Cosmos DB for MongoDB) Connection String
# Had to multiply maxIdleTimeMS by 10 to handle
# urllib3.exceptions.ProtocolError: 
# ("Connection broken: ConnectionResetError(104, 'Connection reset by peer')", ConnectionResetError(104, 'Connection reset by peer'))
MONGODB_CONN_STRING = "<insert the connection string here with quotes>"

ไม่จำเป็นต้องดำเนินการสคริปต์ประชากร DB ในคอนเทนเนอร์นักเทียบท่า สามารถทำได้ด้วยคำสั่งต่อไปนี้: 

 # install all the requirements and dependencies
pip3 install -r requirements.txt

# Run the script with two command line arguments: 
# the name of the folder containing the documents to feed to the LLM 
# and 
# the name of the MongoDB collection that will contain the vector DB
python3 make_vectordb.py ./Paper_all pankb_vector_store

คำสั่งสำหรับสร้างอิมเมจนักเทียบท่าและสร้างคอนเทนเนอร์นักเทียบท่าใหม่ด้วยแอป Streamlit ภายใน: 

 docker compose up -d --build --force-recreate

ไม่จำเป็นต้องดำเนินการแอป dockerized streamlit ใน tmux มันจะเปิดใช้งานและทำงานอยู่เสมอแม้หลังจากรีบูต VM แล้ว (ทำได้โดยใช้ตัวเลือก restart: always )

สามารถตรวจสอบสถานะของคอนเทนเนอร์นักเทียบท่าได้ด้วยคำสั่งต่อไปนี้: 

 docker ps

คำสั่งควรสร้างประมาณ ผลลัพธ์ต่อไปนี้ในกรณีการใช้งานสำเร็จ: 

 CONTAINER ID   IMAGE                COMMAND                  CREATED          STATUS          PORTS                                           NAMES
54d89d7c4fad   pankb_llm:latest     "streamlit run strea…"   10 minutes ago   Up 10 minutes   0.0.0.0:8501->8501/tcp, :::8501->8501/tcp       pankb-llm
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด