pankb_llm

PanKB LLM (DEV)

Ringkasan

Asisten GenAI berdasarkan Langchain + Streamlit + Azure Cosmos DB untuk MongoDB (vCore) + Docker.

Penulis:

• Pemrosesan awal data, LLM, pembuatan DB vektor DEV (Chroma), pengambilan, aplikasi web Streamlit: Binhuan Sun, [email protected]
• Mengubah DB vektor DEV (Chroma) menjadi instans DB vektor PROD (Azure Cosmos DB untuk MongoDB (vCore)) dan menyesuaikan pilihan penyematan dengan batasan Cosmos DB, pembuatan indeks PROD DB, dockerisasi, integrasi aplikasi streamlit dengan templat kerangka Django, pemeliharaan repo github: Pashkova Liubov, [email protected]

Konfigurasi Server

Diuji di Linux Ubuntu 20.04 (mungkin memerlukan penyesuaian untuk sistem lain).

Persyaratan perangkat keras minimum hanya untuk penerapan Aplikasi Asisten AI dan pembuatan database Vektor (tidak termasuk aplikasi PanKB DB, ETL, dan Asisten AI):

• RAM 8GB
• Ruang disk 8GB
• 4 inti CPU (misalnya, untuk pengembangan PyCharm Remote IDE)

Persyaratan sistem:

• Penulisan Docker & Docker
• Git

Pertimbangan & batasan penting

Proses populasi DB dapat memakan waktu hingga 90-150 menit. Hal ini bergantung pada server DEV dan konfigurasi klaster sharded Cosmos DB. Ukuran penyimpanan MongoDB koleksi yang diisi adalah ~ 1,0 GiB, termasuk. indeks.

Harap perhatikan batasan dan pertimbangan berikut:

• Jika kita menggunakan instans Azure Cosmos DB for MongoDB sebagai DB vektor, kita hanya dapat mencoba penyematan dengan dimensi <= 2000 karena untuk Azure Cosmos DB for MongoDB jumlah maksimum dimensi yang didukung adalah 2000. Mungkin lebih baik lagi, besar embeddings lebih mahal dan tidak selalu memberikan peningkatan kinerja yang signifikan. Contoh: https://platform.openai.com/docs/guides/embeddings
• Kita harus membuat indeks kesamaan. Dimensi indeks ini harus sama dengan dimensi embeddings.
• Tingkat Azure M30 (Azure Cosmos DB untuk MongoDB) hanya mendukung jenis indeks vector-ivf . Untuk membuat indeks vector-hnsw , kita harus meningkatkan ke tingkat M40 (biayanya dua kali lebih mahal dari M30 jika kita tidak memilih opsi "Ketersediaan Tinggi" di Portal Azure).
• Kita harus membuat indeks HNSW sebelum penyisipan data (walaupun ini meningkatkan total waktu penyisipan data secara signifikan). Jika kita melakukannya setelahnya, kita tidak dapat menghindari kesalahan tipe batas waktu. Alasannya mungkin karena opsi konfigurasi cluster yang tidak dapat kami ubah jika kami menggunakan IaaS.
• Penjelasan paling komprehensif tentang algoritma pengindeksan HNSW dan parameternya (seperti efConstruction dan M) diberikan di sini: https://www.pinecone.io/learn/series/faiss/hnsw/. Parameter kami saat ini mungkin tidak optimal, karena dipilih sesuai dengan pengaturan default ChromaDB, yang awalnya berfungsi sebagai vektor pengembangan db.

Eksekusi skrip

Buat file .env dalam format berikut:

 ## Do not put this file under version control!

OPENAI_API_KEY=<insert the API key here without quotes>
COHERE_API_KEY=<insert the API key here without quotes>
TOGETHER_API_KEY=<insert the API key here without quotes>
GOOGLE_API_KEY=<insert the API key here without quotes>
ANTHROPIC_API_KEY=<insert the API key here without quotes>
REPLICATE_API_TOKEN=<insert the API key here without quotes>
VOYAGE_API_KEY=<insert the API key here without quotes>

## MongoDB-PROD (Azure Cosmos DB for MongoDB) Connection String
# Had to multiply maxIdleTimeMS by 10 to handle
# urllib3.exceptions.ProtocolError: 
# ("Connection broken: ConnectionResetError(104, 'Connection reset by peer')", ConnectionResetError(104, 'Connection reset by peer'))
MONGODB_CONN_STRING = "<insert the connection string here with quotes>"

Skrip populasi DB tidak harus dijalankan dalam kontainer buruh pelabuhan. Hal ini dapat dilakukan dengan perintah berikut:

 # install all the requirements and dependencies
pip3 install -r requirements.txt

# Run the script with two command line arguments: 
# the name of the folder containing the documents to feed to the LLM 
# and 
# the name of the MongoDB collection that will contain the vector DB
python3 make_vectordb.py ./Paper_all pankb_vector_store

Perintah untuk membuat image buruh pelabuhan dan membuat ulang kontainer buruh pelabuhan dengan aplikasi Streamlit di dalamnya:

 docker compose up -d --build --force-recreate

Aplikasi streamlit yang di-docker tidak harus dijalankan di tmux . Itu akan selalu aktif dan berjalan bahkan setelah VM di-boot ulang (dicapai dengan menggunakan opsi restart: always dalam file penulisan buruh pelabuhan).

Status container buruh pelabuhan dapat diperiksa dengan perintah berikut:

 docker ps

Perintah tersebut harus menghasilkan kira-kira. output berikut antara lain jika penerapan berhasil:

 CONTAINER ID   IMAGE                COMMAND                  CREATED          STATUS          PORTS                                           NAMES
54d89d7c4fad   pankb_llm:latest     "streamlit run strea…"   10 minutes ago   Up 10 minutes   0.0.0.0:8501->8501/tcp, :::8501->8501/tcp       pankb-llm