chroma

Chroma - la base de données d'intégration open source .
Le moyen le plus rapide de créer des applications LLM Python ou JavaScript avec de la mémoire !

| | Documents | Page d'accueil

pip install chromadb # python client
# for javascript, npm install chromadb!
# for client-server mode, chroma run --path /chroma_db_path

L'API principale ne comprend que 4 fonctions (exécutez notre modèle Google Colab ou Replit) :

 import chromadb
# setup Chroma in-memory, for easy prototyping. Can add persistence easily!
client = chromadb . Client ()

# Create collection. get_collection, get_or_create_collection, delete_collection also available!
collection = client . create_collection ( "all-my-documents" )

# Add docs to the collection. Can also update and delete. Row-based API coming soon!
collection . add (
    documents = [ "This is document1" , "This is document2" ], # we handle tokenization, embedding, and indexing automatically. You can skip that and add your own embeddings as well
    metadatas = [{ "source" : "notion" }, { "source" : "google-docs" }], # filter on these!
    ids = [ "doc1" , "doc2" ], # unique for each doc
)

# Query/search 2 most similar results. You can also .get by id
results = collection . query (
    query_texts = [ "This is a query document" ],
    n_results = 2 ,
    # where={"metadata_field": "is_equal_to_this"}, # optional filter
    # where_document={"$contains":"search_string"}  # optional filter
)

Caractéristiques

• Simple : Entièrement tapé, entièrement testé, entièrement documenté == du bonheur
• Intégrations : ?️? LangChain (python et js), ? LlamaIndex et plus bientôt
• Dev, Test, Prod : la même API qui s'exécute dans votre notebook Python, s'adapte à votre cluster
• Riche en fonctionnalités : requêtes, filtrage, estimation de la densité et plus encore
• Gratuit et Open Source : Licence Apache 2.0

Cas d'utilisation : ChatGPT pour ______

Par exemple, le cas d'utilisation "Chat your data" :

1. Ajoutez des documents à votre base de données. Vous pouvez transmettre vos propres intégrations, fonction d'intégration ou laisser Chroma les intégrer pour vous.
2. Interrogez les documents pertinents en langage naturel.
3. Composez des documents dans la fenêtre contextuelle d'un LLM comme GPT3 pour un résumé ou une analyse supplémentaire.

Des intégrations ?

Que sont les intégrations ?

• Lire le guide d'OpenAI
• Littéral : l'intégration de quelque chose le transforme d'une image/texte/audio en une liste de nombres. ?️ ou ? => [1.2, 2.1, ....] . Ce processus rend les documents « compréhensibles » pour un modèle d'apprentissage automatique.
• Par analogie : Une intégration représente l’essence d’un document. Cela permet aux documents et aux requêtes ayant la même essence d'être « proches » les uns des autres et donc faciles à retrouver.
• Technique : Une intégration est la position dans l'espace latent d'un document au niveau d'une couche d'un réseau neuronal profond. Pour les modèles formés spécifiquement pour intégrer des données, il s'agit de la dernière couche.
• Un petit exemple : Si vous recherchez dans vos photos "célèbre pont de San Francisco". En intégrant cette requête et en la comparant aux intégrations de vos photos et de leurs métadonnées, elle devrait renvoyer des photos du Golden Gate Bridge.

Les bases de données d'intégrations (également appelées bases de données vectorielles ) stockent les intégrations et vous permettent d'effectuer une recherche par voisins les plus proches plutôt que par sous-chaînes comme une base de données traditionnelle. Par défaut, Chroma utilise Sentence Transformers pour intégrer pour vous, mais vous pouvez également utiliser les intégrations OpenAI, les intégrations Cohere (multilingues) ou les vôtres.

Impliquez-vous

Chroma est un projet en développement rapide. Nous accueillons les contributeurs de relations publiques et les idées sur la façon d'améliorer le projet.

• Rejoignez la conversation sur Discord - #canal #contributing
• Consultez la ?️ Feuille de route et apportez vos idées
• Saisissez un problème et ouvrez un PR - Good first issue tag
• Lisez notre guide de contribution

Cadence de publication Nous publions actuellement de nouvelles versions balisées des packages pypi et npm le lundi. Les correctifs sortent à tout moment de la semaine.

Licence

Apache2.0