superduper
0.4.5
SuperDuper-это основа на основе Python для построения рабочих процессов и приложений AI-DATA и приложений AI- DATA, интегрирующихся с основными базами данных. Он поддерживает новейшие технологии и методы, включая LLM, векторные поиска, тряпку, мультимодальность, а также классические парадигмы AI и ML.
Разработчики могут использовать SuperDuper, создавая композиционные и декларативные объекты , которые проводят подробности развертывания, оркестровки и управления версиями, а также для двигателя SuperDuper. Это позволяет разработчикам полностью избегать реализации MLOP, ETL -конвейеров, развертывания модели, миграции данных и синхронизации.
Использование SuperDuper-это просто « накидка »: подключитесь к вашим данным, примените произвольный AI к этим данным, пакет и повторно используйте приложение на произвольных данных, а также выполните запросы и прогнозы AI-датабазы и прогнозы на полученных выходах и данных искусственного интеллекта.
Соединять
db = superduper ( 'mongodb|postgres|mysql|sqlite|duckdb|snowflake://<your-db-uri>' )Применять
listener = MyLLM ( 'self_hosted_llm' , architecture = 'llama-3.2' , postprocess = my_postprocess ). to_listener ( 'documents' , key = 'txt' )
db . apply ( listener )Упаковка
application = Application ( 'my-analysis-app' , components = [ listener , vector_index ])
template = Template ( 'my-analysis' , component = app , substitutions = { 'documents' : 'table' })
template . export ( 'my-analysis' )Выполнять
query = db [ 'documents' ]. like ({ 'txt' , 'Tell me about Superduper' }, vector_index = 'my-index' ). select ()
query . execute ()Superduper может быть запущен в любом месте; Вы также можете связаться с нами, чтобы узнать больше о корпоративной платформе для того, чтобы привлечь ваши рабочие процессы Superduper в масштабе.
Superduper достаточно гибкий, чтобы поддержать огромный спектр методов ИИ и парадигм. У нас есть ряд предварительно построенных функций в каталогах plugins и templates . В частности, SuperDuper превосходит, когда ИИ и данные должны взаимодействовать непрерывным и плотно интегрированным образом. Вот несколько иллюстративных примеров, которые вы можете попробовать из наших шаблонов:
Мы стремимся связаться с восторженными разработчиками, чтобы внести свой вклад в репертуар удивительных предварительно созданных шаблонов и рабочих процессов, доступных в SuperDuper с открытым исходным кодом. Пожалуйста, присоединяйтесь к обсуждению, внесли вопросы и вытащите запросы!
Component ), используя модель декларативного программирования, которая тесно связана с данными в вашей базе DataBackend, используя простой набор примитивов и базовых классов.Component в Application AI-DATAComponent , Model и экземпляры Application с использованием Template , предоставляя разработчикам простую точку зрения для начала с трудных реализаций ИИApplication и версий легко следовать и создать элегантный сегэй из мира ИИ в миры данных о базе данных/ типированных данных.Model , а также первичные данные о базе данных, чтобы включить последнее поколение приложений AI-DATA, включая все ароматы вектора-поиска, тряпить и многое, многое другое. Массивная гибкость
Объедините любую модель AI на основе Python, API из экосистемы с наиболее устоявшимися базами данных и складами, протестированными в битве; Снежинка, Mongodb, Postgres, MySQL, SQL Server, SQLite, BigQuery и Clickhouse поддерживаются.
Бесплатная интеграция избегает MLOPS
Удалите необходимость реализации MLOPS, используя декларативные и композиционные компоненты SuperDuper, в которых указывается конечное состояние, которое должны охватить модели и данные.
Продвижение кода повторно использование и мобильность
Компоненты пакета в качестве шаблонов, разоблачая ключевые параметры, необходимые для повторного использования и передачи приложений ИИ в вашем сообществе и организации.
Экономия стоимости
Реализовать векторный поиск и встраивать генерацию без необходимости выделенной векторной базы данных. Без особого необходимости переключается между моделями самостоятельного и размещенными API без основных изменений кода.
Перейти на производство без каких -либо дополнительных усилий
API Superduper Rest позволяет обслуживать установленные модели без дополнительных работ по разработке. Для масштабируемости предприятия, сбои сбоев, безопасности и ведения журнала, приложений и рабочих процессов, созданных с помощью SuperDuper, могут быть развернуты за один клик на SuperDuper Enterprise.
main ветви? Мы работаем над предстоящим выпуском 0.4.0 . В этом релизе у нас есть:
Component запускает начальные вычисления и зависимые от данных вычисления с использованием @trigger Это позволит обеспечить большое разнообразие типов Component в дополнение к хорошо установленной Model , Listener , VectorIndex .
CDC (CHAPED-DATA)Это позволит разработчикам создать ряд функциональности, которые реагируют на входящие данные
Template , чтобы обеспечить повторные единицы полной функциональности Компоненты, сохраненные как экземпляры Template , позволят пользователям легко перераспределить свои уже развернутые и протестированные реализации Component и Application , по альтернативным источникам данных, а также с ключевыми параметрами, связанными для удовлетворения рабочих требований.
Template в проект Эти экземпляры Template могут быть применены с помощью Superduper с простой единственной командой
superduper apply <template> '{"variable_1": "value_1", "variable_2": ...}'
или:
from superduper import templates
app = template ( variable_1 = 'value_1' , variable_2 = 'value_2' , ...)
db . apply ( app ) Теперь вы можете просмотреть свои экземпляры Component , Application и Template в пользовательском интерфейсе и выполнить запросы, используя экземпляры QueryTemplate , непосредственно против сервера остального.
superduper start
Установка :
pip install superduper-frameworkПросмотреть доступные предварительно построенные шаблоны:
superduper lsПодключите и примените предварительно построенный шаблон:
( Примечание: предварительно построенные шаблоны поддерживаются только Python 3.10; вы можете использовать все другие функции в Python 3.11+. )
# e.g. 'mongodb://localhost:27017/test_db'
SUPERDUPER_DATA_BACKEND= < your-db-uri > superduper apply simple_ragВыполнить запрос или прогноз на результаты:
from superduper import superduper
db = superduper ( '<your-db-uri>' ) # e.g. 'mongodb://localhost:27017/test_db'
db [ 'rag' ]. predict ( 'Tell me about superduper' )Просмотреть и следить за всем в интерфейсе SuperDuper. Из командной строки:
superduper startПосле этого вы готовы построить свои собственные компоненты, приложения и шаблоны!
Начните с копирования существующего шаблона, в вашу собственную среду разработки:
superduper bootstrap < template_name > --destination templates/my-template Отредактируйте ноутбук build.ipynb , чтобы создать свою собственную функциональность.
Если у вас есть какие -либо проблемы, вопросы, комментарии или идеи:
[email protected] .Есть много способов внести свой вклад, и они не ограничиваются письменным кодом. Мы приветствуем все вклады, такие как:
Пожалуйста, смотрите наше руководство по внесению подробностей.
Спасибо этим замечательным людям:
Superduper-это открытый источник и предназначен для того, чтобы стать общественным усилием, и это было бы невозможно без вашей поддержки и энтузиазма. Он распространяется в соответствии с условиями лицензии Apache 2.0. Любой вклад, внесенный в этот проект, будет облагаться теми же положениями.
Мы ищем хороших людей, которые инвестируют в проблему, которую мы пытаемся решить, чтобы присоединиться к нам полный рабочий день. Найдите роли, которые мы пытаемся заполнить здесь!
