voxelgpt
1.0.0
أتمنى أن تتمكن من البحث عن صورك أو مقاطع الفيديو الخاصة بك دون كتابة سطر من التعليمات البرمجية؟ هل تريد استخراج رؤى من بياناتك عن طريق السؤال باللغة الإنجليزية البسيطة؟ الآن يمكنك! ؟
Voxelgpt هو مكون إضافي لخمسونون يجمع بين قوة نماذج اللغة الكبيرة (LLMs) ونماذج كبيرة متعددة الوسائط (LMMS) ولغة استعلام في Vistyone Computer Vision ، مما يتيح لك التصفية والفرز وشرائحها الدلالية وطرح أسئلة حول بياناتك باستخدام اللغة الطبيعية. يمكنه حتى إجراء حسابات على مجموعة البيانات الخاصة بك - بموافقة ، بالطبع!
يمكنك تجربة voxelgpt على الهواء مباشرة في gpt.fiftyone.ai!
Voxelgpt قادر على التعامل مع أي من أنواع الاستعلامات التالية:
عندما تسأل Voxelgpt سؤالًا ، فإنه يفسر نيتك وتحديد نوع الاستعلام الذي تطرحه. إذا لم يكن Voxelgpt غير متأكد ، فسوف يطلب منك التوضيح.
يمكن لـ Voxelgpt التعامل مع الأنواع التالية من الاستعلامات حول مجموعة البيانات الخاصة بك:
يمكنك أن تطلب من voxelgpt البحث عن مجموعات البيانات الخاصة بك. إليك بعض الأمثلة على الأشياء التي يمكنك طرحها:
تحت الغطاء ، يفسر Voxelgpt استعلامك ويترجمه إلى طريقة عرض مجموعة البيانات المقابلة. يفهم Voxelgpt مخطط مجموعة البيانات الخاصة بك ، وكذلك أشياء مثل عمليات التقييم وفهارس التشابه.
يمكن أيضًا فحص محتويات مجموعة البيانات الخاصة بك تلقائيًا لاسترداد كيانات محددة.
يمكن لـ Voxelgpt الإجابة على أسئلة حول مخطط مجموعة البيانات الخاصة بك ، وتشغيل الدماغ ، وتقييم التقييم ، وأكثر من ذلك. فيما يلي بعض الأمثلة:
إذا كانت مجموعة البيانات الخاصة بك تحتوي على واحدة أو أكثر من حقل (S) fo.Detections ، فيمكن Voxelgpt تصفية أو تطابق بناءً على حجم (النسبي والمطلق) من الصناديق المحددة ، وعلى عدد الكشف.
إذا كانت مجموعة البيانات الخاصة بك تحتوي على حقل GeoLocation ، فيمكنك تشغيل استعلامات جغرافية على مجموعة البيانات الخاصة بك. يمكن لـ Voxelgpt أداء الترميز الجغرافي للانتقال من اسم الموقع (أو الوصف النصفي) إلى زوج (lon, lat) ، أو قائمة من النقاط (lon, lat) التي تحدد منطقة الحدود. فيما يلي بعض الأمثلة:
إذا كانت مجموعة البيانات الخاصة بك تحتوي على حقل Date أو DateTime ، فيمكن Voxelgpt إجراء الاستعلامات الزمنية مثل:
event قراءة وقت من اليوم بين الساعة 8 مساءً و 11 مساءً يمكن لـ Voxelgpt الوصول إلى مراحل التجميع في خمسيون ، بحيث يمكنه إجراء مجموعات مثل count mean sum أو std أو min و max values distinct للحقل أو التعبير على مجموعة البيانات بأكملها أو طريقة عرض في مجموعة البيانات. فيما يلي بعض الأمثلة:
cat ؟confidence في تنبؤاتي؟يمكن لـ Voxelgpt إجراء عمليات حسابية على مجموعة البيانات الخاصة بك ، مثل:
فيما يلي بعض الأمثلة على الاستعلامات الحسابية التي يمكنك أن تسأل Voxelgpt:
إذا كنت لا ترغب في السماح لـ Voxelgpt بتشغيل الحسابات ، فقم بتعيين متغير البيئة:
export VOXELGPT_ALLOW_COMPUTATIONS=falseيمكنك أيضًا تعيين الحد الأدنى لحجم مجموعة البيانات التي يحتاج فيها Voxelgpt إلى طلب إذن لتشغيل الحسابات:
export VOXELGPT_APPROVAL_THRESHOLD=1000القيمة الافتراضية هي 100 عينة.
Voxelgpt ليس فقط مبرمج زوج ؛ وهي أيضًا أداة تعليمية. يمكن لـ Voxelgpt الوصول إلى مستندات FiftyOne بأكملها ، بالإضافة إلى جميع منشورات المدونة على مدونة Voxel51 ، ونصوص من مقاطع الفيديو على قناة YouTube Voxel51. يمكنه استخدام كل هذه الموارد للإجابة على أسئلة Fiftyone المتعلقة.
فيما يلي بعض الأمثلة على استفسارات الوثائق التي يمكنك أن تسأل Voxelgpt:
ستوفر Voxelgpt روابط إلى أكثر الموارد فائدة عبر مستندات Voxel51 والمدونة وقناة YouTube. بالنسبة لمقاطع فيديو YouTube ، ستشير الروابط مباشرة إلى الطابع الزمني الأكثر صلة!
يمكن لـ Voxelgpt الإجابة على أسئلة حول البيئة التي تدير فيها خمسين ، بما في ذلك:
فيما يلي بعض الأمثلة على استعلامات مساحة العمل التي يمكنك أن تسأل Voxelgpt:
أخيرًا ، يمكن لـ Voxelgpt الإجابة على الأسئلة العامة حول رؤية الكمبيوتر والتعلم الآلي وعلوم البيانات. يمكن أن يساعدك ذلك على فهم المفاهيم الأساسية وتعلم كيفية التغلب على مشكلات جودة البيانات.
فيما يلي بعض الأمثلة على استفسارات التعلم الآلي يمكنك أن تسأل Voxelgpt:
إذا لم تقم بذلك بالفعل ، فقم بتثبيت Fiftyone:
pip install fiftyoneستحتاج أيضًا إلى توفير مفتاح Openai API (إنشاء واحد):
export OPENAI_API_KEY=XXXXXXXXللاستخدام مع نشر Azure الخاص بك ، انظر هنا
إذا كنت تريد فقط استخدام voxelgpt في تطبيق FiftyOne ، فيمكنك ببساطة تثبيته كمساعد:
fiftyone plugins download https://github.com/voxel51/voxelgpt
fiftyone plugins requirements @voxel51/voxelgpt --install إذا كنت ترغب في استخدام وحدة voxelgpt مباشرة أو تطوير المشروع محليًا ، فستحتاج إلى استنساخ مستودع:
git clone https://github.com/voxel51/voxelgpt
cd voxelgptتثبيت المتطلبات:
pip install -r requirements.txtوجعل المكون الإضافي متاحًا للاستخدام في تطبيق FiftyOne بواسطة Symlinking في دليل الإضافات الخاصة بك:
# Symlinks your clone of voxelgpt into your FiftyOne plugins directory
ln -s " $( pwd ) " " $( fiftyone config plugins_dir ) /voxelgpt "هل تريد إضافة Voxelgpt إلى نشر فرق Fiftyone الخاصة بك؟ أنت تستطيع! التعليمات هنا.
يمكنك استخدام voxelgpt مع نشر Azure الخاص بك عن طريق تعيين متغيرات البيئة التالية:
export OPENAI_API_TYPE=azure
export AZURE_OPENAI_ENDPOINT= < azure_endpoint >
export AZURE_OPENAI_KEY= < azure_api_key >
export AZURE_OPENAI_GPT35_DEPLOYMENT_NAME= < gpt35-deployment-name >
export AZURE_OPENAI_GPT4O_DEPLOYMENT_NAME= < gpt4o-deployment-name >
export AZURE_OPENAI_TEXT_EMBEDDING_3_LARGE_DEPLOYMENT_NAME= < embedding-deployment-name >إذا لم يتم تعيين أي من متغيرات البيئة الثلاثة الأولى ، فسيقوم VoxelGPT بالتخلي عن استخدام API Openai. بالنسبة للمتغيرات الثلاثة الأخيرة للبيئة ، إذا لم يتم العثور على أي منها من المورد ، فإن VoxelGPT ستعمل على استخدام API Openai لهذا النموذج المحدد.
يمكنك استخدام voxelgpt في تطبيق FiftyOne عن طريق تحميل أي مجموعة بيانات:
import fiftyone as fo
import fiftyone . zoo as foz
dataset = foz . load_zoo_dataset ( "quickstart" )
session = fo . launch_app ( dataset )ثم إما:
+ بجوار علامة التبويب العينات واختيار voxelgptعلى سبيل المثال ، حاول طرح الأسئلة التالية:
نصيحة للمحترفين: استخدم الكلمة الرئيسية now لدمج المطالبات السابقة الخاصة بك كسياق لاستعلامك التالي!
يمكنك أيضًا تشغيل voxelgpt كمشغل عن طريق الضغط على مفتاح ~ على لوحة المفاتيح وتحديد Ask VoxelGPT من القائمة. سيؤدي ذلك إلى فتح وسيط صغير حيث يمكنك كتابة استعلامك.
إذا قمت بتثبيت محليًا ، فيمكنك أيضًا التفاعل مباشرة مع Voxelgpt عبر Python.
يمكنك استخدام ask_voxelgpt_interactive() لبدء جلسة تفاعلية حيث يمكنك التحدث مع VoxelGPT عبر مطالبات input() . انتقل إلى الدليل حيث يوجد Voxelgpt وتشغيله:
import fiftyone as fo
import fiftyone . zoo as foz
from voxelgpt import ask_voxelgpt_interactive
dataset = foz . load_zoo_dataset ( "quickstart" )
session = fo . launch_app ( dataset )
ask_voxelgpt_interactive ( dataset , session = session ) نصيحة للمحترفين: استخدم الكلمة الرئيسية now لدمج المطالبات السابقة الخاصة بك كسياق لاستعلامك التالي.
كالعادة ، يمكنك مطالبة voxelgpt بأي مجموعة من مجموعة البيانات والوثائق واستعلامات رؤية الكمبيوتر العامة. على سبيل المثال ، قد تبدو المحادثة:
You:
what is the difference between precision and recall?
VoxelGPT:
Precision and recall are two important metrics used to evaluate the
performance of a machine learning model in classification tasks. Precision
measures the proportion of true positive predictions among all positive
predictions made by the model. Recall, on the other hand, measures the
proportion of true positive predictions among all actual positive instances
in the dataset.
In other words, precision is the ability of the model to correctly identify
positive instances, while recall is the ability of the model to identify
all positive instances. A high precision means that the model is making
very few false positive predictions, while a high recall means that the
model is able to identify most of the positive instances in the dataset.
It is important to balance precision and recall when evaluating a model's
performance. A model with high precision but low recall may be missing
important positive instances, while a model with high recall but low
precision may be making too many false positive predictions.
In the context of the FiftyOne library, precision and recall can be
computed using the `fiftyone.utils.metrics` module, which provides
functions for computing various classification metrics. For example, the
`fiftyone.utils.metrics.binary_classification` function can be used to
compute precision and recall for binary classification tasks.
You:
does FiftyOne integrate with Label Studio?
VoxelGPT:
Yes, FiftyOne integrates with Label Studio. The integration allows you to
easily upload your data directly from FiftyOne to Label Studio for labeling.
You can get started with Label Studio through a simple pip install to get a
local server up and running. FiftyOne provides simple setup instructions
that you can use to specify the necessary account credentials and server
endpoint to use. FiftyOne provides an API to create projects, upload data,
define label schemas, and download annotations using Label Studio, all
programmatically in Python. All of the following label types are supported
for image datasets: Classification, Detections, Instance segmentations,
Polygons and polylines, Keypoints, Scalar fields, and Semantic segmentation.
Sources:
- https://docs.voxel51.com/integrations/index.html
- https://docs.voxel51.com/integrations/labelstudio.html
You:
show me predicted airplanes
VoxelGPT:
Identified potential algorithms: evaluation
No evaluation runs found.
Identified potential fields: predictions
Identified potential label classes: {'predictions': ['airplane']}
Identified potential view stages: ['match', 'filter_labels', 'match_labels', 'exclude_labels', 'filter_field']
Okay, I'm going to load dataset.filter_labels("predictions",F("label") == "airplane")
You:
now only show me the first 10 samples
VoxelGPT:
Identified potential algorithms: evaluation
No evaluation runs found.
Identified potential fields: predictions
Identified potential label classes: {'predictions': ['airplane']}
Identified potential view stages: ['match', 'limit', 'limit_labels', 'skip', 'sort_by']
Okay, I'm going to load dataset.match(F("predictions.detections.label").contains("airplane")).limit(10)
You: exit
في الوضع التفاعلي ، تقوم Voxelgpt تلقائيًا بتحميل أي طرق عرض تنشئها في التطبيق ، ويمكنك الوصول إليها عبر كائن الجلسة:
print ( session . view . count ( "predictions.detections" )) يمكنك أيضًا استخدام ask_voxelgpt() للمطالبة بـ Voxelgpt مع الاستعلامات الفردية:
from voxelgpt import ask_voxelgpt
ask_voxelgpt ( "Does FiftyOne integrate with CVAT?" ) Yes, FiftyOne integrates with CVAT, which is an open-source image and video
annotation tool. You can upload your data directly from FiftyOne to CVAT to add or
edit labels. You can use CVAT either through the hosted server at app.cvat.ai or
through a self-hosted server. In either case, FiftyOne provides simple setup
instructions that you can use to specify the necessary account credentials and
server endpoint to use. The tight integration between FiftyOne and CVAT allows
you to curate and explore datasets in FiftyOne and then send off samples or
existing labels for annotation in CVAT with just one line of code. To use CVAT,
you must create an account on a CVAT server. By default, FiftyOne uses app.cvat.ai.
If you haven’t already, go to app.cvat.ai and create an account now. Another option
is to set up CVAT locally and then configure FiftyOne to use your self-hosted server.
A primary benefit of setting up CVAT locally is that you are limited to 10 tasks and
500MB of data with app.cvat.ai.
Sources:
- https://docs.voxel51.com/integrations/cvat.html#examples
- https://docs.voxel51.com/tutorials/cvat_annotation.html#Annotating-Datasets-with-CVAT
- https://docs.voxel51.com/tutorials/cvat_annotation.html#Setup
- https://docs.voxel51.com/integrations/index.html#fiftyone-integrations
عندما تنشئ Voxelgpt طريقة عرض ردًا على استعلامك ، يتم إرجاعها:
import fiftyone as fo
import fiftyone . zoo as foz
dataset = foz . load_zoo_dataset ( "quickstart" )
view = ask_voxelgpt ( "show me 10 random samples" , dataset ) Identified potential view stages: ['match', 'limit', 'skip', 'take', 'sort_by']
Okay, I'm going to load dataset.take(10)
تم تدريب Voxelgpt على التعرف على بعض الكلمات الرئيسية التي تساعدها على فهم نيتك:
| الكلمة الرئيسية | معنى |
|---|---|
show / display | يخبر Voxelgpt أنك تريد أن تستفسر عن مجموعة البيانات الخاصة بك وعرض النتائج |
docs / how / FiftyOne | يخبر Voxelgpt أنك تريد أن تستفسر عن مستندات Fiftyone. |
now | استخدم سجل الدردشة الخاص بك كسياق لتفسير استفسارك التالي. على سبيل المثال ، إذا طلبت "أرني الصور مع أشخاص" ثم اسأل "تبين لي الآن أكثر العشرة فريدة من نوعها" ، فستفهم Voxelgpt أنك ترغب |
help | يطبع رسالة مساعدة مع تعليمات الاستخدام |
reset | أعد ضبط تاريخ المحادثة |
exit | يخرج جلسات بيثون التفاعلية |
المساهمات مرحب بها! تحقق من دليل المساهمات للحصول على التعليمات.
يستخدم Voxelgpt:
يوفر Voxelgpt دعمًا محدودًا لمقاطع الفيديو ومجموعات البيانات المجمعة والوسائط ثلاثية الأبعاد. سيظل التصفية الأساسية والاستعلام والتجمعات تعمل ، لكن لا تتوقع رؤى عميقة في بيانات ثلاثية الأبعاد.
يعتمد هذا التنفيذ على مجموعة محدودة من الأمثلة ، لذلك قد لا يتم تعميمه جيدًا على جميع مجموعات البيانات. كلما كان استفسارك أكثر تحديداً ، كانت النتائج أفضل. إذا وجدت أن النتائج ليست ما تتوقعه ، فيرجى إخبارنا!
إذا كنت قد وصلت إلى هذا الحد ، فسنقدر كثيرًا إذا كنت قد قضيت لحظة للتحقق من خمسيون ومنحنا نجمة!
FiftyOne هي مكتبة مفتوحة المصدر لبناء مجموعات بيانات عالية الجودة ونماذج رؤية الكمبيوتر. إنه المحرك الذي يشغل هذا المشروع.
شكرا لزيارتها! ؟
إذا كنت ترغب في الانضمام إلى مجتمع سريع النمو من المهندسين والباحثين والممارسين الذين يحبون الذكاء الاصطناعى المرئي ، فإن الانضمام إلى مجتمع Fiftyone Slack!
