Скачать vectorai - скачать исходный код vectorai

vectorai

Другой исходный код

v0.2.5

Скачать

(VectorAI устарел и больше не поддерживается. Мы рекомендуем использовать Relevance AI для векторного поиска, посетите https://tryrelevance.com)

Vector AI — это платформа, предназначенная для максимально быстрого и простого процесса создания векторных приложений промышленного уровня. Создавайте, храните, манипулируйте, ищите и анализируйте векторы вместе с документами JSON для использования в таких приложениях, как нейронный поиск, семантический поиск, персонализированные рекомендации и т. д.

Посетите наш сайт и зарегистрируйтесь для получения API-ключа: https://getvectorai.com
Для документации Python: https://vector-ai.github.io/vectorai.
Документация по REST API: https://api.vctr.ai/documentation.
Присоединяйтесь к нашему дискорду: https://discord.gg/CbwUxyD
Более подробное описание наших функций можно найти на https://getvectorai.com/production-ready-search-in-5-minutes/.

Функции

Векторизация мультимедийных данных : Image2Vec, Audio2Vec и т. д. (любые данные можно превратить в векторы с помощью машинного обучения)
Хранение, ориентированное на документы : храните свои векторы вместе с документами без необходимости поиска в базе данных метаданных о векторах.
Поиск по сходству векторов : включите поиск векторов и мультимедийных файлов с помощью поиска по сходству векторов. Основа многих популярных вариантов использования ИИ, таких как обратный поиск изображений, рекомендации, персонализация и т. д.
Гибридный поиск : существуют сценарии, в которых векторный поиск не так эффективен, как традиционный поиск, например поиск артикулов. Vector AI позволяет сочетать векторный поиск со всеми функциями традиционного поиска, такими как фильтрация, нечеткий поиск, сопоставление ключевых слов, чтобы создать еще более эффективный поиск.
Взвешенный поиск по нескольким моделям . Наш векторный поиск легко настраивается, и вы можете выполнять поиск по нескольким векторам из нескольких моделей и присваивать им разные веса.
Векторные операции : гибкий поиск с готовыми операциями над векторами. например среднее значение, медиана, сумма и т. д.
Агрегация : вся традиционная агрегация, которую вы ожидаете. например, группировка по среднему значению, сводные таблицы и т. д.
Кластеризация : интерпретируйте векторы и данные, распределяя их по сегментам, и получайте статистику об этих различных сегментах на основе предоставленных вами данных.
Векторная аналитика . Получите лучшее понимание ваших векторов с помощью готовых практических векторных аналитиков, которые позволят вам лучше понять качество ваших векторов.

Быстрая терминология

Модели/кодировщики (также известные как Embedders) ~ Превращают данные в векторы, например Word2Vec превращает слова в вектор.
Поиск векторного сходства (также известный как поиск ближайшего соседа, поиск по расстоянию)
Коллекция (также известная как Индекс, Таблица) ~ коллекция состоит из нескольких документов.
Документы (также известные как Json, Item, Dictionary, Row) ~ документ может содержать векторы, текст и ссылки на видео/изображения/аудио.

Быстрый старт

Установить через пип! Совместимость с любой ОС.

 pip install vectorai

Если вам нужна ночная версия из-за текущих улучшений, вы можете установить ночную версию, используя:

 pip install vectorai-nightly

Примечание. Хотя ночная версия по-прежнему будет проходить автоматическое тестирование, она может быть нестабильной.

Ознакомьтесь с нашей краткой записной книжкой о том, как создать поисковую систему по тексту, изображениям и аудио за 5 минут: faststart.ipynb

 from vectorai import ViClient, request_api_key

api_key = request_api_key(username=<username>, email=<email>, description=<description>, referral_code="github_referred")

vi_client = ViClient(username=username, api_key=api_key)

from vectorai.models.deployed import ViText2Vec
text_encoder = ViText2Vec(username, api_key)

documents = [
    {
        '_id': 0,
        'color': 'red'
    },
    {
        '_id': 1,
        'color': 'blue'
    }
]

# Insert the data
vi_client.insert_documents('test-collection', documents, models={'color': text_encoder.encode})

# Search the data
vi_client.search('test-collection', text_encoder.encode('maroon'), 'color_vector_', page_size=2)

# Get Recommendations
vi_client.search_by_id('test-collection', '1', 'color_vector_', page_size=2)

Доступ к мощной векторной аналитике

Vector AI имеет мощные средства визуализации, позволяющие максимально легко анализировать векторы — в одной строке кода.

 vi_client.plot_dimensionality_reduced_vectors(documents, 
    point_label='title', 
    dim_reduction_field='_dr_ivis', 
    cluster_field='centroid_title', cluster_label='centroid_title')

 vi_client.plot_2d_cosine_similarity(
    documents,
    documents[0:2],
    vector_fields=['use_vector_'],
    label='name',
    anchor_document=documents[0]
)

Легко сравнивайте векторы и эффективность их поиска в документах!

Почему Vector AI по сравнению с другими реализациями метода ближайшего соседа?

Готовность к производству : наш API полностью управляем и может масштабироваться для обработки сотен миллионов поисковых запросов в день. Даже при миллионах поисковых запросов он работает очень быстро благодаря периферийному кэшированию, использованию графического процессора и оптимизации программного обеспечения, поэтому вам никогда не придется беспокоиться о масштабировании вашей инфраструктуры по мере масштабирования вашего сценария использования.
Простой в использовании. Быстро начать. : Один из наших основных принципов проектирования заключается в том, что мы фокусируемся на том, как люди могут начать использовать Vector AI как можно быстрее, сохраняя при этом массу функций и возможностей настройки.
Более глубокое понимание ваших векторов и их свойств . Наша библиотека создана для того, чтобы позволить людям делать больше, чем просто получать ближайшие соседи, но и фактически экспериментировать, анализировать, интерпретировать и улучшать их в тот момент, когда данные добавляются в индекс.
С легкостью храните векторные данные . Ориентированность на документы Vector AI позволяет пользователям маркировать, фильтровать поиск и максимально понимать свои векторы.
Доступ к данным в режиме реального времени : данные Vector AI доступны в режиме реального времени, как только данные вставлены, их сразу же можно найти. Не нужно часами ждать, чтобы построить индекс.
Независимость от фреймворка : мы никогда не будем навязывать Vector AI какую-то конкретную структуру. Если у вас есть выбор, вы можете использовать его — при условии, что ваши документы сериализуются в формате JSON!

Использование моделей VectorHub

VectorHub — это основной репозиторий моделей Vector AI. Модели из VectorHub созданы с использованием интерфейсов scikit-learn, и все они содержат примеры интеграции Vector AI. Если вы хотите поэкспериментировать с новыми готовыми моделями, мы рекомендуем попробовать модели VectorHub — все они были протестированы на Colab и их можно использовать всего за 3 строки кода!

Правила схемы для документов (векторы и идентификаторы BYO)

Убедитесь, что все векторные поля содержат «_vector_» в своем имени и что все поля идентификатора имеют имя «_id».

Например:

 example_item = {
    '_id': 'James',
    'skills_vector_': [0.123, 0.456, 0.789, 0.987, 0.654, 0.321]
}

Следующие ниже столбцы не будут распознаваться как столбцы идентификаторов или векторные столбцы.

 example_item = {
    'name_id': 'James',
    'skillsvector_': [0.123, 0.456, 0.789, 0.987, 0.654, 0.321]
}

Чем это отличается от API VectorAI?

Python SDK предназначен для того, чтобы предоставить питонистам возможность раскрыть возможности VectorAI, используя как можно меньше строк кода. Он предоставляет все элементы API через наш инструмент автоматизации с открытым исходным кодом и является основным способом взаимодействия наших специалистов по данным и инженеров с механизмом VectorAI для быстрого создания прототипов, прежде чем разработчики начнут использовать запросы API.

Примечание . VectorAI SDK построен на сервере разработки, что иногда может вызывать ошибки. Однако это важно для того, чтобы пользователи могли получить доступ к самым передовым функциям по мере необходимости. Если вы столкнулись с такими проблемами, мы рекомендуем создать проблему на GitHub, если она не является срочной, но не стесняйтесь пинговать канал Discord для получения более срочных запросов.