pankb_llm

PanKB LLM (DEV)

Visão geral

Um assistente GenAI baseado em Langchain + Streamlit + Azure Cosmos DB para MongoDB (vCore) + Docker.

Autores:

• Pré-processamento de dados, LLM, criação de banco de dados vetorial DEV (Chroma), recuperador, aplicativo da web Streamlit: Binhuan Sun, [email protected]
• Alterar o banco de dados de vetor DEV (Chroma) para a instância de banco de dados de vetor PROD (Azure Cosmos DB para MongoDB (vCore)) e ajustar a escolha de embeddings às limitações do Cosmos DB, criação de índice de banco de dados PROD, dockerização, integração do aplicativo streamlit com os modelos da estrutura Django, a manutenção do repositório github: Pashkova Liubov, [email protected]

Configuração do servidor

Testado em Linux Ubuntu 20.04 (pode precisar de ajustes para outros sistemas).

Requisitos mínimos de hardware exclusivamente para a implantação do aplicativo AI Assistant e criação de banco de dados Vector (excluindo o aplicativo PanKB DB, ETL e AI Assistant):

• 8 GB de RAM
• 8 GB de espaço em disco
• 4 núcleos de CPU (por exemplo, para desenvolvimento PyCharm Remote IDE)

Requisitos do sistema:

• Docker e Docker Compose
• Git

Considerações e limitações importantes

O processo de preenchimento do banco de dados pode levar de 90 a 150 minutos. Depende do servidor DEV e das configurações do cluster fragmentado do Cosmos DB. O tamanho de armazenamento do MongoDB da coleção preenchida é de aproximadamente 1,0 GiB, incl. os índices.

Observe as seguintes limitações e considerações:

• Se usarmos uma instância do Azure Cosmos DB para MongoDB como banco de dados vetorial, podemos tentar apenas embeddings com dimensionalidades <= 2.000 porque para o Azure Cosmos DB para MongoDB o número máximo de dimensões suportadas é 2.000. Talvez seja até para melhor, grande os embeddings são mais caros e nem sempre proporcionam um aumento significativo no desempenho. Exemplos: https://platform.openai.com/docs/guides/embeddings
• Temos que criar o índice de similaridade. A dimensionalidade deste índice deve ser igual à dimensionalidade dos embeddings.
• A camada Azure M30 (Azure Cosmos DB para MongoDB) suporta apenas o tipo de índice vector-ivf . Para criar o índice vector-hnsw , temos que atualizar para o nível M40 (custa o dobro do M30 se não selecionarmos a opção "Alta Disponibilidade" no Portal do Azure).
• Temos que criar o índice HNSW antes da inserção dos dados (embora isso aumente significativamente o tempo total de inserção dos dados). Se fizermos isso depois, não poderemos evitar erros do tipo timeout. Os motivos podem ser as opções de configuração do cluster que não podemos alterar do nosso lado se usarmos IaaS.
• A explicação mais abrangente do algoritmo de indexação HNSW e seus parâmetros (como efConstruction e M) é fornecida aqui: https://www.pinecone.io/learn/series/faiss/hnsw/. Nossos parâmetros atuais podem não ser os ideais, pois foram escolhidos de acordo com as configurações padrão do ChromaDB, que inicialmente serviu como vetor de desenvolvimento db.

Execução de scripts

Crie o arquivo .env no seguinte formato:

 ## Do not put this file under version control!

OPENAI_API_KEY=<insert the API key here without quotes>
COHERE_API_KEY=<insert the API key here without quotes>
TOGETHER_API_KEY=<insert the API key here without quotes>
GOOGLE_API_KEY=<insert the API key here without quotes>
ANTHROPIC_API_KEY=<insert the API key here without quotes>
REPLICATE_API_TOKEN=<insert the API key here without quotes>
VOYAGE_API_KEY=<insert the API key here without quotes>

## MongoDB-PROD (Azure Cosmos DB for MongoDB) Connection String
# Had to multiply maxIdleTimeMS by 10 to handle
# urllib3.exceptions.ProtocolError: 
# ("Connection broken: ConnectionResetError(104, 'Connection reset by peer')", ConnectionResetError(104, 'Connection reset by peer'))
MONGODB_CONN_STRING = "<insert the connection string here with quotes>"

O script de preenchimento do banco de dados não precisa ser executado em um contêiner docker. Isso pode ser feito com os seguintes comandos:

 # install all the requirements and dependencies
pip3 install -r requirements.txt

# Run the script with two command line arguments: 
# the name of the folder containing the documents to feed to the LLM 
# and 
# the name of the MongoDB collection that will contain the vector DB
python3 make_vectordb.py ./Paper_all pankb_vector_store

O comando para construir a imagem do docker e recriar o contêiner do docker com o aplicativo Streamlit dentro:

 docker compose up -d --build --force-recreate

O aplicativo streamlit dockerizado não precisa ser executado em tmux . Ele sempre estará funcionando mesmo após a reinicialização da VM (obtido usando a opção restart: always no docker compose file).

O status do contêiner docker pode ser verificado com o seguinte comando:

 docker ps

O comando deve produzir aprox. a seguinte saída, entre outras, em caso de implantação bem-sucedida:

 CONTAINER ID   IMAGE                COMMAND                  CREATED          STATUS          PORTS                                           NAMES
54d89d7c4fad   pankb_llm:latest     "streamlit run strea…"   10 minutes ago   Up 10 minutes   0.0.0.0:8501->8501/tcp, :::8501->8501/tcp       pankb-llm