superduper
0.4.5
SuperDuper هو إطار عمل قائم على Python لبناء مهام سير عمل وتطبيقات AI-DATA النهائية على البيانات الخاصة بك ، ويتكامل مع قواعد البيانات الرئيسية. وهو يدعم أحدث التقنيات والتقنيات ، بما في ذلك LLMs ، و Search-Search ، و Rag ، و Multimodality ، بالإضافة إلى نماذج AI و ML الكلاسيكية.
يمكن للمطورين الاستفادة من Superduper من خلال بناء الأشياء التركيبية والإعلانية التي تفوق تفاصيل النشر ، والتنسيق والإصدار ، والمزيد إلى محرك SuperDuper. يتيح ذلك للمطورين تجنب تنفيذ MLOPS ، وخطوط أنابيب ETL ، ونشر النماذج ، وترحيل البيانات والمزامنة.
إن استخدام SuperDuper هو ببساطة " Cape ": قم بالاتصال ببياناتك ، وتطبيق AI التعسفي على تلك البيانات ، وحزمة وإعادة استخدام التطبيق على البيانات التعسفية ، وتنفيذ استعلامات وتنبؤات AI-Database على مخرجات وبيانات الذكاء الاصطناعي الناتجة.
يتصل
db = superduper ( 'mongodb|postgres|mysql|sqlite|duckdb|snowflake://<your-db-uri>' )يتقدم
listener = MyLLM ( 'self_hosted_llm' , architecture = 'llama-3.2' , postprocess = my_postprocess ). to_listener ( 'documents' , key = 'txt' )
db . apply ( listener )طَرد
application = Application ( 'my-analysis-app' , components = [ listener , vector_index ])
template = Template ( 'my-analysis' , component = app , substitutions = { 'documents' : 'table' })
template . export ( 'my-analysis' )ينفذ
query = db [ 'documents' ]. like ({ 'txt' , 'Tell me about Superduper' }, vector_index = 'my-index' ). select ()
query . execute ()قد يتم تشغيل SuperDuper في أي مكان ؛ يمكنك أيضًا الاتصال بنا لمعرفة المزيد حول منصة المؤسسة لجلب سير العمل SuperDuper الخاص بك إلى الإنتاج على نطاق واسع.
SuperDuper مرن بما يكفي لدعم مجموعة كبيرة من تقنيات ونماذج الذكاء الاصطناعي. لدينا مجموعة من الوظائف التي تم بناؤها مسبقًا في أدلة plugins templates . على وجه الخصوص ، يتفوق SuperDuper عندما تحتاج AI والبيانات إلى التفاعل بطريقة مستمرة ومتكاملة بإحكام. فيما يلي بعض الأمثلة التوضيحية التي قد تجربها من قوالبنا:
نحن نتطلع إلى التواصل مع المطورين المتحمسين للمساهمة في ذخيرة القوالب المدهشة وسير العمل المذهلة المتوفرة في Superduper Open Source. يرجى الانضمام إلى المناقشة ، من خلال المساهمة في القضايا وسحب الطلبات!
Component ) باستخدام نموذج برمجة التصريح ، والذي يتكامل بشكل وثيق مع البيانات في قاعدة البيانات الخاصة بك ، باستخدام مجموعة بسيطة من البدائية والفئات الأساسية.Component المترابطة في Application DATA AIComponent Model Application باستخدام Template ، مما يمنح المطورين نقطة سهلة للبدء بتطبيقات منظمة العفو الدولية الصعبةApplication وإصدارها سهلة المتابعة ، وإنشاء ممر أنيق من عالم الذكاء الاصطناعي إلى عوالم البيانات/ الطباعة.Model وكذلك بيانات قاعدة البيانات الأولية ، لتمكين أحدث جيل من تطبيقات DATA ، بما في ذلك جميع نكهات البحث المتجه ، والخرقة ، وأكثر من ذلك بكثير. مرونة هائلة
اجمع بين أي نموذج من الذكاء الاصطناعى القائم على Python ، API من النظام البيئي مع قواعد البيانات والمستودعات التي تم اختبارها الأكثر رسوخًا ؛ يتم دعم Snowflake و MongoDB و Postgres و MySQL و SQL Server و SQLite و BigQuery و Clickhouse.
تكامل سلس لتجنب MLOPS
قم بإزالة الحاجة إلى تنفيذ MLOPs ، باستخدام مكونات SuperDuper التصريحية والتركيبية ، والتي تحدد الحالة النهائية التي يجب أن تصل إليها النماذج والبيانات.
تعزيز قابلية إعادة استخدام الكود وقابلية النقل
مكونات الحزمة كقوالب ، وكشف المعلمات الرئيسية المطلوبة لإعادة استخدام تطبيقات الذكاء الاصطناعي والتواصل معها في مجتمعك ومؤسستك.
وفورات التكلفة
قم بتنفيذ توليد البحث وتضمين المتجهات دون الحاجة إلى قاعدة بيانات متجه مخصصة. تبديل دون عناء بين النماذج المستضافة ذاتيا و API النماذج المستضافة ، دون تغييرات رمز رئيسية.
انتقل إلى الإنتاج دون أي جهد إضافي
يسمح API من SuperDuper's Rest ، بتقديم نماذج مثبتة دون أعمال تطوير إضافية. بالنسبة إلى قابلية التوسع في درجة المؤسسات ، قد يتم نشر الخزائن الفاشلة والأمن والتسجيل والتطبيقات وسير العمل التي تم إنشاؤها باستخدام SuperDuper ، بنقرة واحدة على SuperDuper Enterprise.
main ؟ نحن نعمل على إصدار قادم من 0.4.0 . في هذا الإصدار لدينا:
Component بإعداد الحسابات الأولية والحسابات المعتمدة على البيانات باستخدام @trigger سيمكن ذلك تنوعًا كبيرًا من أنواع Component بالإضافة إلى Model الراسخ ، Listener ، VectorIndex .
CDC (تغيير data-capture) عامسيسمح ذلك للمطورين بإنشاء مجموعة من الوظائف التي تتفاعل مع تغييرات البيانات الواردة
Template لتمكين الوحدات القابلة لإعادة الاستخدام من الوظائف الكاملة ستتيح المكونات المحفوظة كحالات Template ، للمستخدمين إعادة نشر مكونات Component Application التي تم نشرها بالفعل واختبارها بالفعل ، وعلى مصادر البيانات البديلة ، ومع المعلمات الرئيسية التي يتم تبديلها إلى تلبية المتطلبات التشغيلية.
Template ملموسة ملموسة للمشروع قد يتم تطبيق مثيلات Template هذه مع SuperDuper بأمر واحد بسيط
superduper apply <template> '{"variable_1": "value_1", "variable_2": ...}'
أو:
from superduper import templates
app = template ( variable_1 = 'value_1' , variable_2 = 'value_2' , ...)
db . apply ( app ) يمكنك الآن عرض مثيلات Component Application Template في واجهة المستخدم ، وتنفيذ الاستعلامات باستخدام مثيلات QueryTemplate ، مباشرة مقابل خادم REST.
superduper start
تثبيت :
pip install superduper-frameworkعرض قوالب متاحة مسبقًا:
superduper lsقم بتوصيل وتطبيق قالب تم إنشاؤه مسبقًا:
( ملاحظة: يتم دعم القوالب التي تم بناؤها مسبقًا فقط بواسطة Python 3.10 ؛ يمكنك استخدام جميع الميزات الأخرى في Python 3.11+. )
# e.g. 'mongodb://localhost:27017/test_db'
SUPERDUPER_DATA_BACKEND= < your-db-uri > superduper apply simple_ragتنفيذ استعلام أو تنبؤ على النتائج:
from superduper import superduper
db = superduper ( '<your-db-uri>' ) # e.g. 'mongodb://localhost:27017/test_db'
db [ 'rag' ]. predict ( 'Tell me about superduper' )عرض ومراقبة كل شيء في واجهة SuperDuper. من سطر الأوامر:
superduper startبعد القيام بذلك ، أنت مستعد لإنشاء مكوناتك والتطبيقات والقوالب!
ابدأ عن طريق نسخ قالب موجود ، إلى بيئة التطوير الخاصة بك:
superduper bootstrap < template_name > --destination templates/my-template قم بتحرير دفتر build.ipynb ، لبناء وظيفتك الخاصة.
إذا كانت لديك أي مشاكل أو أسئلة أو تعليقات أو أفكار:
[email protected] .هناك العديد من الطرق للمساهمة ، وهي لا تقتصر على رمز الكتابة. نرحب بجميع المساهمات مثل:
يرجى الاطلاع على دليل المساهمة لدينا للحصول على التفاصيل.
شكراً لهؤلاء الناس الرائعين:
SuperDuper مفتوح المصدر ويقصد منه أن يكون جهدًا مجتمعيًا ، ولن يكون ذلك ممكنًا بدون دعمكم وحماسك. يتم توزيعه بموجب شروط ترخيص Apache 2.0. أي مساهمة يتم تقديمها في هذا المشروع ستخضع لنفس الأحكام.
نحن نبحث عن أشخاص لطفاء يستثمرون في المشكلة التي نحاول حلها للانضمام إلينا بدوام كامل. ابحث عن الأدوار التي نحاول ملؤها هنا!
