تنزيل pixeltable - تنزيل رمز مصدر pixeltable

Pixeltable هي مكتبة Python توفر واجهة تعريفية للبيانات متعددة الوسائط (النص والصور والصوت والفيديو). ويتميز بإصدار مدمج، وتتبع النسب، والتحديثات المتزايدة، مما يمكّن المستخدمين من تخزين البيانات وتحويلها وفهرستها وتكرارها لسير عمل تعلم الآلة الخاص بهم.

يتم تضمين تحويلات البيانات واستدلال النموذج والمنطق المخصص كأعمدة محسوبة .

تحميل/الاستعلام عن جميع أنواع البيانات : التفاعل مع بيانات الفيديو على مستوى الإطار والمستندات على مستوى القطعة
تحديثات تدريجية لتحويل البيانات : احتفظ بفهرس التضمين الموجود مع بياناتك
التقييم البطيء وإدارة ذاكرة التخزين المؤقت : يلغي الحاجة إلى استخراج الإطار يدويًا
يتكامل مع أي مكتبات Python : استخدم الوظائف المضمنة والمخصصة (UDFs) بدون خطوط أنابيب معقدة
تنسيق البيانات غير محدد وقابل للتوسعة : الوصول إلى الجداول كملفات Parquet أو مجموعات بيانات PyTorch أو تعليقات COCO

؟ تثبيت

 pip install pixeltable

Pixeltable ثابت. على عكس مكتبات بايثون الموجودة في الذاكرة مثل Pandas، فإن Pixeltable عبارة عن قاعدة بيانات.

ابدء

تعرف على كيفية إنشاء الجداول وملؤها بالبيانات وتحسينها من خلال التحويلات المضمنة أو المحددة من قبل المستخدم.

عنوان	دفتر الملاحظات	عنوان	دفتر الملاحظات
جولة لمدة 10 دقائق في Pixeltable		الجداول وعمليات البيانات
الوظائف المحددة من قبل المستخدم (UDF)		نماذج الكشف عن الكائنات
الهندسة السريعة التزايدية		العمل مع الملفات الخارجية
التكامل مع Label Studio		فهرسة نص الصوت/الفيديو
تطبيق متعدد الوسائط		فهرسة الوثائق وRAG
بوت Discord المدرك للسياق		بحث تشابه الصور/النص

؟ عينات التعليمات البرمجية

استيراد بيانات الوسائط إلى Pixeltable (مقاطع الفيديو والصور والصوت...)

 import pixeltable as pxt

v = pxt . create_table ( 'external_data.videos' , { 'video' : pxt . Video })

prefix = 's3://multimedia-commons/'
paths = [
    'data/videos/mp4/ffe/ffb/ffeffbef41bbc269810b2a1a888de.mp4' ,
    'data/videos/mp4/ffe/feb/ffefebb41485539f964760e6115fbc44.mp4' ,
    'data/videos/mp4/ffe/f73/ffef7384d698b5f70d411c696247169.mp4'
]
v . insert ({ 'video' : prefix + p } for p in paths )

تعرف على كيفية التعامل مع البيانات في Pixeltable.

اكتشاف الكائنات في الصور باستخدام نموذج DETR

 import pixeltable as pxt
from pixeltable . functions import huggingface

# Create a table to store data persistently
t = pxt . create_table ( 'image' , { 'image' : pxt . Image })

# Insert some images
prefix = 'https://upload.wikimedia.org/wikipedia/commons'
paths = [
    '/1/15/Cat_August_2010-4.jpg' ,
    '/e/e1/Example_of_a_Dog.jpg' ,
    '/thumb/b/bf/Bird_Diversity_2013.png/300px-Bird_Diversity_2013.png'
]
t . insert ({ 'image' : prefix + p } for p in paths )

# Add a computed column for image classification
t . add_computed_column ( classification = huggingface . detr_for_object_detection (
    t . image ,
    model_id = 'facebook/detr-resnet-50'
))

# Retrieve the rows where cats have been identified
t . select ( animal = t . image ,
         classification = t . classification . label_text [ 0 ]) 
. where ( t . classification . label_text [ 0 ] == 'cat' ). head ()

تعرف على الأعمدة المحسوبة واكتشاف الكائنات: مقارنة نماذج اكتشاف الكائنات.

قم بتوسيع قدرات Pixeltable من خلال الوظائف المحددة من قبل المستخدم

 @ pxt . udf
def draw_boxes ( img : PIL . Image . Image , boxes : list [ list [ float ]]) -> PIL . Image . Image :
    result = img . copy ()  # Create a copy of `img`
    d = PIL . ImageDraw . Draw ( result )
    for box in boxes :
        d . rectangle ( box , width = 3 )  # Draw bounding box rectangles on the copied image
    return result

تعرف على المزيد حول الوظائف المحددة من قبل المستخدم: UDFs في Pixeltable.

أتمتة عمليات البيانات باستخدام طرق العرض، على سبيل المثال، تقسيم المستندات إلى أجزاء

 # In this example, the view is defined by iteration over the chunks of a DocumentSplitter
chunks_table = pxt . create_view (
    'rag_demo.chunks' ,
    documents_table ,
    iterator = DocumentSplitter . create (
        document = documents_table . document ,
        separators = 'token_limit' , limit = 300 )
)

تعرف على كيفية الاستفادة من طرق العرض لبناء سير عمل RAG الخاص بك.

تقييم أداء النموذج

 # The computation of the mAP metric can become a query over the evaluation output
frames_view . select ( mean_ap ( frames_view . eval_yolox_tiny ), mean_ap ( frames_view . eval_yolox_m )). show ()

تعرف على كيفية الاستفادة من Pixeltable لتحليلات النماذج.

العمل مع خدمات الاستدلال

 chat_table = pxt . create_table ( 'together_demo.chat' , { 'input' : pxt . String })

# The chat-completions API expects JSON-formatted input:
messages = [{ 'role' : 'user' , 'content' : chat_table . input }]

# This example shows how additional parameters from the Together API can be used in Pixeltable
chat_table . add_computed_column (
    output = chat_completions (
        messages = messages ,
        model = 'mistralai/Mixtral-8x7B-Instruct-v0.1' ,
        max_tokens = 300 ,
        stop = [ ' n ' ],
        temperature = 0.7 ,
        top_p = 0.9 ,
        top_k = 40 ,
        repetition_penalty = 1.1 ,
        logprobs = 1 ,
        echo = True
    )
)
chat_table . add_computed_column (
    response = chat_table . output . choices [ 0 ]. message . content
)

# Start a conversation
chat_table . insert ([
    { 'input' : 'How many species of felids have been classified?' },
    { 'input' : 'Can you make me a coffee?' }
])
chat_table . select ( chat_table . input , chat_table . response ). head ()

تعرف على كيفية التفاعل مع خدمات الاستدلال مثل Together AI في Pixeltable.

البحث عن تشابه النص والصور في إطارات الفيديو مع تضمين الفهارس

 import pixeltable as pxt
from pixeltable . functions . huggingface import clip_image , clip_text
from pixeltable . iterators import FrameIterator
import PIL . Image

video_table = pxt . create_table ( 'videos' , { 'video' : pxt . Video })

video_table . insert ([{ 'video' : '/video.mp4' }])

frames_view = pxt . create_view (
    'frames' , video_table , iterator = FrameIterator . create ( video = video_table . video ))

@ pxt . expr_udf
def embed_image ( img : PIL . Image . Image ):
    return clip_image ( img , model_id = 'openai/clip-vit-base-patch32' )

@ pxt . expr_udf
def str_embed ( s : str ):
    return clip_text ( s , model_id = 'openai/clip-vit-base-patch32' )

# Create an index on the 'frame' column that allows text and image search
frames_view . add_embedding_index ( 'frame' , string_embed = str_embed , image_embed = embed_image )

# Now we will retrieve images based on a sample image
sample_image = '/image.jpeg'
sim = frames_view . frame . similarity ( sample_image )
frames_view . order_by ( sim , asc = False ). limit ( 5 ). select ( frames_view . frame , sim = sim ). collect ()

# Now we will retrieve images based on a string
sample_text = 'red truck'
sim = frames_view . frame . similarity ( sample_text )
frames_view . order_by ( sim , asc = False ). limit ( 5 ). select ( frames_view . frame , sim = sim ). collect ()

تعرف على كيفية العمل مع التضمين وفهارس المتجهات.

مقارنة مكدس الذكاء الاصطناعي

سير عمل رؤية الكمبيوتر

متطلبات	تقليدي	بكسلتابل
استخراج الإطار	ffmpeg + كود مخصص	تلقائي عبر FrameIterator
كشف الكائنات	نصوص متعددة + التخزين المؤقت	عمود محسوب واحد
فهرسة الفيديو	خطوط أنابيب مخصصة + Vector DB	بحث التشابه الأصلي
إدارة التعليقات التوضيحية	أدوات منفصلة + كود مخصص	تكامل Label Studio
تقييم النموذج	خط أنابيب المقاييس المخصصة	المدمج في حساب خريطة

؟ سير العمل LLM

متطلبات	تقليدي	بكسلتابل
تقطيع المستندات	أداة + رمز مخصص	مقسم المستندات الأصلي
جيل التضمين	خط أنابيب منفصل + التخزين المؤقت	الأعمدة المحسوبة
بحث المتجهات	قاعدة بيانات المتجهات الخارجية	فهرسة المتجهات المضمنة
الإدارة الفورية	حل تتبع مخصص	أعمدة يتم التحكم فيها بالإصدار
إدارة السلسلة	أداة + رمز مخصص	العمود المحسوب DAGs

؟ سير العمل متعدد الوسائط

متطلبات	تقليدي	بكسلتابل
أنواع البيانات	أنظمة تخزين متعددة	واجهة الجدول الموحدة
البحث عبر الوسائط	التكامل المعقد	دعم التشابه الأصلي
تنسيق خطوط الأنابيب	أدوات متعددة (تدفق الهواء، الخ)	واجهة تعريفية واحدة
إدارة الأصول	نظام تتبع مخصص	النسب التلقائي
ضبط الجودة	أدوات التحقق المتعددة	أعمدة التحقق من الصحة المحسوبة

❓ الأسئلة الشائعة

ما هو بكسلتابل؟

يقوم Pixeltable بتوحيد تخزين البيانات وتعيين الإصدار والفهرسة من خلال التنسيق وإصدار النموذج ضمن واجهة جدول تعريفية، مع تمثيل التحويلات واستدلال النموذج والمنطق المخصص كأعمدة محسوبة.

ما هي المشاكل التي يحلها Pixeltable؟

تتطلب الحلول الحالية لتطوير تطبيقات الذكاء الاصطناعي ترميزًا مخصصًا واسع النطاق وأنظمة السباكة للبنية التحتية. يعد تتبع النسب والإصدارات بين عمليات تحويل البيانات والنماذج وعمليات النشر وعبرها أمرًا مرهقًا. يتيح Pixeltable لمهندسي ML وعلماء البيانات التركيز على الاستكشاف والنمذجة وتطوير التطبيقات دون التعامل مع البيانات المعتادة.

ما الذي يقدمه لي Pixeltable؟ يوفر Pixeltable:

تخزين البيانات وإصدارها
البيانات المجمعة والنسب النموذجية
الفهرسة (مثل تضمين المتجهات) واسترجاع البيانات
تنسيق أعباء العمل متعددة الوسائط
التحديثات المتزايدة
الكود جاهز للإنتاج تلقائيًا

لماذا يجب عليك استخدام Pixeltable؟

يمنحك الشفافية وإمكانية التكرار
- يتم تسجيل جميع البيانات التي تم إنشاؤها وإصدارها تلقائيًا
- لن تحتاج أبدًا إلى إعادة تشغيل عبء العمل لأنك فقدت تتبع البيانات المدخلة
أنه يوفر لك المال
- جميع تغييرات البيانات تزايدية تلقائيًا
- لن تحتاج أبدًا إلى إعادة تشغيل خطوط الأنابيب من البداية لأنك تقوم بإضافة البيانات
إنه يتكامل مع أي كود أو مكتبات Python موجودة
- أحضر التعليمات البرمجية وأحمال العمل المتغيرة باستمرار
- يمكنك اختيار النماذج والأدوات وممارسات الذكاء الاصطناعي (على سبيل المثال، نموذج التضمين الخاص بك لفهرس المتجهات)؛ يقوم Pixeltable بتنسيق البيانات

ما الذي لا يقدمه Pixeltable؟

Pixeltable ليس حلاً ذكاءً اصطناعيًا توجيهيًا منخفض التعليمات البرمجية. نحن نمكنك من استخدام أفضل الأطر والتقنيات لتلبية احتياجاتك الخاصة.
نحن لا نهدف إلى استبدال مجموعة أدوات الذكاء الاصطناعي الحالية لديك، بل نهدف إلى تعزيزها من خلال تبسيط البنية التحتية للبيانات الأساسية وتنسيقها.

نصيحة

راجع قسم عمليات التكامل، ولا تتردد في تقديم طلب لعمليات التكامل الإضافية.