pixeltable
v0.2.27
Установка | Документация | Справочник по API | Примеры кода | Компьютерное зрение | Магистр права
Pixeltable — это библиотека Python, предоставляющая декларативный интерфейс для мультимодальных данных (текст, изображения, аудио, видео). Он имеет встроенное управление версиями, отслеживание происхождения и инкрементные обновления, что позволяет пользователям хранить , преобразовывать , индексировать и перебирать данные для своих рабочих процессов машинного обучения.
Преобразования данных, вывод модели и пользовательская логика внедряются в виде вычисляемых столбцов .
pip install pixeltablePixeltable является постоянным. В отличие от библиотек Python в памяти, таких как Pandas, Pixeltable представляет собой базу данных.
Узнайте, как создавать таблицы, заполнять их данными и улучшать их с помощью встроенных или определяемых пользователем преобразований.
| Тема | Блокнот | Тема | Блокнот |
|---|---|---|---|
| 10-минутный тур по Pixeltable | Таблицы и операции с данными | ||
| Пользовательские функции (UDF) | Модели обнаружения объектов | ||
| Поэтапное оперативное проектирование | Работа с внешними файлами | ||
| Интеграция с Label Studio | Индексирование аудио/видео расшифровки | ||
| Мультимодальное применение | Индексирование документов и RAG | ||
| Контекстно-зависимый Discord-бот | Поиск сходства изображения/текста |
import pixeltable as pxt
v = pxt . create_table ( 'external_data.videos' , { 'video' : pxt . Video })
prefix = 's3://multimedia-commons/'
paths = [
'data/videos/mp4/ffe/ffb/ffeffbef41bbc269810b2a1a888de.mp4' ,
'data/videos/mp4/ffe/feb/ffefebb41485539f964760e6115fbc44.mp4' ,
'data/videos/mp4/ffe/f73/ffef7384d698b5f70d411c696247169.mp4'
]
v . insert ({ 'video' : prefix + p } for p in paths )Узнайте, как работать с данными в Pixeltable.
import pixeltable as pxt
from pixeltable . functions import huggingface
# Create a table to store data persistently
t = pxt . create_table ( 'image' , { 'image' : pxt . Image })
# Insert some images
prefix = 'https://upload.wikimedia.org/wikipedia/commons'
paths = [
'/1/15/Cat_August_2010-4.jpg' ,
'/e/e1/Example_of_a_Dog.jpg' ,
'/thumb/b/bf/Bird_Diversity_2013.png/300px-Bird_Diversity_2013.png'
]
t . insert ({ 'image' : prefix + p } for p in paths )
# Add a computed column for image classification
t . add_computed_column ( classification = huggingface . detr_for_object_detection (
t . image ,
model_id = 'facebook/detr-resnet-50'
))
# Retrieve the rows where cats have been identified
t . select ( animal = t . image ,
classification = t . classification . label_text [ 0 ])
. where ( t . classification . label_text [ 0 ] == 'cat' ). head ()Узнайте о вычисляемых столбцах и обнаружении объектов: сравнение моделей обнаружения объектов.
@ pxt . udf
def draw_boxes ( img : PIL . Image . Image , boxes : list [ list [ float ]]) -> PIL . Image . Image :
result = img . copy () # Create a copy of `img`
d = PIL . ImageDraw . Draw ( result )
for box in boxes :
d . rectangle ( box , width = 3 ) # Draw bounding box rectangles on the copied image
return resultУзнайте больше о пользовательских функциях: UDF в Pixeltable.
# In this example, the view is defined by iteration over the chunks of a DocumentSplitter
chunks_table = pxt . create_view (
'rag_demo.chunks' ,
documents_table ,
iterator = DocumentSplitter . create (
document = documents_table . document ,
separators = 'token_limit' , limit = 300 )
)Узнайте, как использовать представления для построения рабочего процесса RAG.
# The computation of the mAP metric can become a query over the evaluation output
frames_view . select ( mean_ap ( frames_view . eval_yolox_tiny ), mean_ap ( frames_view . eval_yolox_m )). show ()Узнайте, как использовать Pixeltable для анализа моделей.
chat_table = pxt . create_table ( 'together_demo.chat' , { 'input' : pxt . String })
# The chat-completions API expects JSON-formatted input:
messages = [{ 'role' : 'user' , 'content' : chat_table . input }]
# This example shows how additional parameters from the Together API can be used in Pixeltable
chat_table . add_computed_column (
output = chat_completions (
messages = messages ,
model = 'mistralai/Mixtral-8x7B-Instruct-v0.1' ,
max_tokens = 300 ,
stop = [ ' n ' ],
temperature = 0.7 ,
top_p = 0.9 ,
top_k = 40 ,
repetition_penalty = 1.1 ,
logprobs = 1 ,
echo = True
)
)
chat_table . add_computed_column (
response = chat_table . output . choices [ 0 ]. message . content
)
# Start a conversation
chat_table . insert ([
{ 'input' : 'How many species of felids have been classified?' },
{ 'input' : 'Can you make me a coffee?' }
])
chat_table . select ( chat_table . input , chat_table . response ). head ()Узнайте, как взаимодействовать со службами вывода, такими как Together AI в Pixeltable.
import pixeltable as pxt
from pixeltable . functions . huggingface import clip_image , clip_text
from pixeltable . iterators import FrameIterator
import PIL . Image
video_table = pxt . create_table ( 'videos' , { 'video' : pxt . Video })
video_table . insert ([{ 'video' : '/video.mp4' }])
frames_view = pxt . create_view (
'frames' , video_table , iterator = FrameIterator . create ( video = video_table . video ))
@ pxt . expr_udf
def embed_image ( img : PIL . Image . Image ):
return clip_image ( img , model_id = 'openai/clip-vit-base-patch32' )
@ pxt . expr_udf
def str_embed ( s : str ):
return clip_text ( s , model_id = 'openai/clip-vit-base-patch32' )
# Create an index on the 'frame' column that allows text and image search
frames_view . add_embedding_index ( 'frame' , string_embed = str_embed , image_embed = embed_image )
# Now we will retrieve images based on a sample image
sample_image = '/image.jpeg'
sim = frames_view . frame . similarity ( sample_image )
frames_view . order_by ( sim , asc = False ). limit ( 5 ). select ( frames_view . frame , sim = sim ). collect ()
# Now we will retrieve images based on a string
sample_text = 'red truck'
sim = frames_view . frame . similarity ( sample_text )
frames_view . order_by ( sim , asc = False ). limit ( 5 ). select ( frames_view . frame , sim = sim ). collect ()Узнайте, как работать с встраиванием и векторными индексами.
| Требование | Традиционный | Пиксельная таблица |
|---|---|---|
| Извлечение кадра | ffmpeg + собственный код | Автоматически через FrameIterator |
| Обнаружение объектов | Несколько скриптов + кеширование | Один вычисляемый столбец |
| Индексирование видео | Пользовательские конвейеры + БД векторов | Собственный поиск по сходству |
| Управление аннотациями | Отдельные инструменты + собственный код | Интеграция со Студией этикеток |
| Оценка модели | Конвейер пользовательских метрик | Встроенное вычисление MAP |
| Требование | Традиционный | Пиксельная таблица |
|---|---|---|
| Разделение документа на части | Инструмент + индивидуальный код | Собственный разделитель документов |
| Встраивание генерации | Отдельный конвейер + кеширование | Вычисляемые столбцы |
| Векторный поиск | Внешняя векторная БД | Встроенная векторная индексация |
| Оперативное управление | Индивидуальное решение для отслеживания | Столбцы с контролем версий |
| Управление сетью | Инструмент + индивидуальный код | Вычисленные столбцы DAG |
| Требование | Традиционный | Пиксельная таблица |
|---|---|---|
| Типы данных | Несколько систем хранения | Единый интерфейс таблиц |
| Кросс-модальный поиск | Комплексная интеграция | Встроенная поддержка сходства |
| Конвейерная оркестровка | Несколько инструментов (Airflow и т. д.) | Единый декларативный интерфейс |
| Управление активами | Пользовательская система отслеживания | Автоматическая родословная |
| Контроль качества | Несколько инструментов проверки | Вычисленные столбцы проверки |
Pixeltable унифицирует хранение данных, управление версиями и индексирование с оркестровкой и управлением версиями модели в декларативном табличном интерфейсе с преобразованиями, выводом модели и пользовательской логикой, представленной в виде вычисляемых столбцов.
Сегодняшние решения для разработки приложений искусственного интеллекта требуют обширного индивидуального кодирования и создания инфраструктуры. Отслеживание происхождения и версий между преобразованиями данных, моделями и развертываниями является обременительным. Pixeltable позволяет инженерам машинного обучения и специалистам по обработке данных сосредоточиться на исследовании, моделировании и разработке приложений, не занимаясь обычной обработкой данных.
Кончик
Посетите раздел «Интеграции» и не стесняйтесь отправить запрос на дополнительные.
Мы рады приветствовать вклад сообщества! Вот как вы можете принять участие:
Эта библиотека распространяется по лицензии Apache 2.0.
