chroma

Chroma - o banco de dados de incorporação de código aberto .
A maneira mais rápida de criar aplicativos LLM em Python ou JavaScript com memória!

| | Documentos | Página inicial

pip install chromadb # python client
# for javascript, npm install chromadb!
# for client-server mode, chroma run --path /chroma_db_path

A API principal tem apenas 4 funções (execute nosso modelo Google Colab ou Replit):

 import chromadb
# setup Chroma in-memory, for easy prototyping. Can add persistence easily!
client = chromadb . Client ()

# Create collection. get_collection, get_or_create_collection, delete_collection also available!
collection = client . create_collection ( "all-my-documents" )

# Add docs to the collection. Can also update and delete. Row-based API coming soon!
collection . add (
    documents = [ "This is document1" , "This is document2" ], # we handle tokenization, embedding, and indexing automatically. You can skip that and add your own embeddings as well
    metadatas = [{ "source" : "notion" }, { "source" : "google-docs" }], # filter on these!
    ids = [ "doc1" , "doc2" ], # unique for each doc
)

# Query/search 2 most similar results. You can also .get by id
results = collection . query (
    query_texts = [ "This is a query document" ],
    n_results = 2 ,
    # where={"metadata_field": "is_equal_to_this"}, # optional filter
    # where_document={"$contains":"search_string"}  # optional filter
)

Características

• Simples : totalmente digitado, totalmente testado, totalmente documentado == felicidade
• Integrações : ?️? LangChain (python e js), ? LlamaIndex e muito mais em breve
• Dev, Test, Prod : a mesma API executada em seu notebook python, dimensionada para seu cluster
• Rico em recursos : consultas, filtragem, estimativa de densidade e muito mais
• Gratuito e de código aberto : Apache 2.0 licenciado

Caso de uso: ChatGPT para ______

Por exemplo, o caso de uso "Chat your data" :

1. Adicione documentos ao seu banco de dados. Você pode passar seus próprios embeddings, função de incorporação ou deixar o Chroma incorporá-los para você.
2. Consulte documentos relevantes com linguagem natural.
3. Componha documentos na janela de contexto de um LLM como GPT3 para resumo ou análise adicional.

Incorporações?

O que são incorporações?

• Leia o guia da OpenAI
• Literal : Incorporar algo transforma imagem/texto/áudio em uma lista de números. ?️ ou ? => [1.2, 2.1, ....] . Este processo torna os documentos “compreensíveis” para um modelo de aprendizado de máquina.
• Por analogia : uma incorporação representa a essência de um documento. Isto permite que documentos e consultas com a mesma essência fiquem “próximos” uns dos outros e, portanto, fáceis de encontrar.
• Técnico : Uma incorporação é a posição no espaço latente de um documento em uma camada de uma rede neural profunda. Para modelos treinados especificamente para incorporar dados, esta é a última camada.
• Um pequeno exemplo : se você pesquisar em suas fotos por “ponte famosa em São Francisco”. Ao incorporar esta consulta e compará-la com as incorporações de suas fotos e seus metadados - ela deverá retornar fotos da Ponte Golden Gate.

Os bancos de dados de incorporação (também conhecidos como bancos de dados vetoriais ) armazenam incorporações e permitem pesquisar por vizinhos mais próximos, em vez de por substrings, como um banco de dados tradicional. Por padrão, o Chroma usa transformadores de frases para incorporar para você, mas você também pode usar embeddings OpenAI, embeddings Cohere (multilíngue) ou os seus próprios.

Envolva-se

Chroma é um projeto em rápido desenvolvimento. Agradecemos colaboradores de relações públicas e ideias sobre como melhorar o projeto.

• Participe da conversa no Discord - canal #contributing
• Revise o ?️ Roteiro e contribua com suas ideias
• Pegue um problema e abra um PR - Good first issue tag
• Leia nosso guia de contribuição

Cadência de lançamento Atualmente, lançamos novas versões marcadas dos pacotes pypi e npm às segundas-feiras. Os hotfixes são lançados a qualquer momento durante a semana.

Licença

Apache 2.0