chroma

Chroma — база данных для встраивания с открытым исходным кодом .
Самый быстрый способ создания приложений LLM на Python или JavaScript с использованием памяти!

| | Документы | Домашняя страница

pip install chromadb # python client
# for javascript, npm install chromadb!
# for client-server mode, chroma run --path /chroma_db_path

Базовый API состоит всего из 4 функций (запустите наш шаблон Google Colab или Replit):

 import chromadb
# setup Chroma in-memory, for easy prototyping. Can add persistence easily!
client = chromadb . Client ()

# Create collection. get_collection, get_or_create_collection, delete_collection also available!
collection = client . create_collection ( "all-my-documents" )

# Add docs to the collection. Can also update and delete. Row-based API coming soon!
collection . add (
    documents = [ "This is document1" , "This is document2" ], # we handle tokenization, embedding, and indexing automatically. You can skip that and add your own embeddings as well
    metadatas = [{ "source" : "notion" }, { "source" : "google-docs" }], # filter on these!
    ids = [ "doc1" , "doc2" ], # unique for each doc
)

# Query/search 2 most similar results. You can also .get by id
results = collection . query (
    query_texts = [ "This is a query document" ],
    n_results = 2 ,
    # where={"metadata_field": "is_equal_to_this"}, # optional filter
    # where_document={"$contains":"search_string"}  # optional filter
)

Функции

• Просто : полностью типизированный, полностью протестированный, полностью документированный == счастье.
• Интеграции : ?️? LangChain (python и js), ? LlamaIndex и многое другое в ближайшее время
• Dev, Test, Prod : тот же API, который работает в вашем блокноте Python, масштабируется до вашего кластера.
• Богатый функционал : запросы, фильтрация, оценка плотности и многое другое.
• Бесплатно и с открытым исходным кодом : лицензия Apache 2.0.

Вариант использования: ChatGPT для ______.

Например, вариант использования "Chat your data" :

1. Добавьте документы в свою базу данных. Вы можете передать свои собственные встраивания, функцию встраивания или позволить Chroma встроить их за вас.
2. Запрашивайте соответствующие документы на естественном языке.
3. Создавайте документы в контекстном окне LLM, например GPT3 для дополнительного обобщения или анализа.

Вложения?

Что такое вложения?

• Прочитайте руководство от OpenAI
• Буквальный : встраивание чего-либо превращает изображение/текст/аудио в список чисел. ?️ или ? => [1.2, 2.1, ....] . Этот процесс делает документы «понятными» для модели машинного обучения.
• По аналогии : встраивание представляет собой суть документа. Это позволяет документам и запросам одной и той же сущности находиться «рядом» друг с другом и, следовательно, их легко найти.
• Технический : встраивание — это положение документа в скрытом пространстве на уровне глубокой нейронной сети. Для моделей, специально обученных для внедрения данных, это последний уровень.
• Небольшой пример : если вы ищете свои фотографии по запросу «знаменитый мост в Сан-Франциско». Внедрив этот запрос и сравнив его с внедренными вашими фотографиями и их метаданными, он должен вернуть фотографии моста Золотые Ворота.

Базы данных вложений (также известные как базы данных векторов ) хранят вложения и позволяют выполнять поиск по ближайшим соседям, а не по подстрокам, как в традиционной базе данных. По умолчанию Chroma использует преобразователи предложений для встраивания, но вы также можете использовать встраивания OpenAI, Cohere (многоязычные) или свои собственные.

Примите участие

Chroma — быстро развивающийся проект. Мы приветствуем пиарщиков и идеи по улучшению проекта.

• Присоединяйтесь к обсуждению в Discord – #contributing
• Просмотрите дорожную карту ?️ и поделитесь своими идеями.
• Возьмите задачу и откройте PR — Good first issue tag
• Прочтите наше руководство по участию

Периодичность выпусков В настоящее время мы выпускаем новые версии пакетов pypi и npm с тегами по понедельникам. Хотфиксы выходят в любое время в течение недели.

Лицензия

Апач 2.0