voxelgpt
1.0.0
หวังว่าคุณจะสามารถค้นหารูปภาพหรือวิดีโอของคุณโดยไม่ต้องเขียนบรรทัดรหัส? ต้องการดึงข้อมูลเชิงลึกจากข้อมูลของคุณโดยถามเป็นภาษาอังกฤษธรรมดาหรือไม่? ตอนนี้คุณทำได้! -
Voxelgpt เป็นปลั๊กอิน Fiftyone ที่รวมพลังของรุ่นภาษาขนาดใหญ่ (LLMS) และรุ่น Multimodal ขนาดใหญ่ (LMM) กับภาษาคิวรีคอมพิวเตอร์ของ Fiftyone ทำให้คุณสามารถกรองเรียงลำดับความหมายและถามคำถามเกี่ยวกับข้อมูลของคุณโดยใช้ภาษาธรรมชาติ มันสามารถทำการคำนวณในชุดข้อมูลของคุณสำหรับคุณ - ด้วยการอนุมัติแน่นอน!
คุณสามารถลองใช้ Voxelgpt Live ได้ที่ gpt.fiftyone.ai!
Voxelgpt มีความสามารถในการจัดการแบบสอบถามประเภทใด ๆ ต่อไปนี้:
เมื่อคุณถามคำถาม Voxelgpt มันจะตีความความตั้งใจของคุณและพิจารณาว่าคุณกำลังถามแบบสอบถามประเภทใด หาก Voxelgpt ไม่แน่ใจมันจะขอให้คุณชี้แจง
Voxelgpt สามารถจัดการกับข้อสงสัยประเภทต่อไปนี้เกี่ยวกับชุดข้อมูลของคุณ:
คุณสามารถขอให้ Voxelgpt ค้นหาชุดข้อมูลของคุณสำหรับคุณ นี่คือตัวอย่างของสิ่งที่คุณสามารถถามได้:
ภายใต้ฮูด Voxelgpt ตีความแบบสอบถามของคุณและแปลเป็นมุมมองชุดข้อมูลที่เกี่ยวข้อง Voxelgpt เข้าใจสคีมาของชุดข้อมูลของคุณรวมถึงสิ่งต่าง ๆ เช่นการประเมินผลและดัชนีความคล้ายคลึงกัน
นอกจากนี้ยังสามารถตรวจสอบเนื้อหาของชุดข้อมูลของคุณโดยอัตโนมัติเพื่อดึงเอนทิตีเฉพาะ
Voxelgpt สามารถตอบคำถามเกี่ยวกับสคีมาของชุดข้อมูลของคุณการทำงานของสมองการประเมินผลการประเมินและอื่น ๆ นี่คือตัวอย่างบางส่วน:
หากชุดข้อมูลของคุณมีฟิลด์ fo.Detections หนึ่งฟิลด์ขึ้นไป VoxelGPT สามารถกรองหรือจับคู่ตามขนาด (สัมพัทธ์และสัมบูรณ์) ของกล่องขอบเขตและจำนวนการตรวจจับ
หากชุดข้อมูลของคุณมีฟิลด์ตำแหน่ง GeoLocation คุณสามารถเรียกใช้แบบสอบถามทางภูมิศาสตร์บนชุดข้อมูลของคุณ Voxelgpt สามารถดำเนินการ geocoding เพื่อเปลี่ยนจากชื่อตำแหน่ง (หรือคำอธิบายข้อความ) เป็นคู่ (lon, lat) หรือรายการของ (lon, lat) จุดที่กำหนดขอบเขตขอบเขต นี่คือตัวอย่างบางส่วน:
หากชุดข้อมูลของคุณมีฟิลด์ Date หรือ DateTime
event อ่านเวลาระหว่าง 20.00 น. ถึง 23.00 น. Voxelgpt มีการเข้าถึงขั้นตอนการรวมใน Fiftyone ดังนั้นจึงสามารถทำการรวมตัวเช่น count , mean , sum , std , min , max , values และ distinct สำหรับฟิลด์หรือการแสดงออกผ่านชุดข้อมูลทั้งหมดหรือมุมมองลงในชุดข้อมูล นี่คือตัวอย่างบางส่วน:
cat ?confidence ในการคาดการณ์ของฉันคืออะไร?Voxelgpt สามารถทำการคำนวณในชุดข้อมูลของคุณเช่น:
นี่คือตัวอย่างของการสอบถามการคำนวณที่คุณสามารถถาม voxelgpt:
หากคุณไม่ต้องการอนุญาตให้ voxelgpt เรียกใช้การคำนวณให้ตั้งค่าตัวแปรสภาพแวดล้อม:
export VOXELGPT_ALLOW_COMPUTATIONS=falseนอกจากนี้คุณยังสามารถตั้งค่าขนาดชุดข้อมูลขั้นต่ำที่ VoxelGpt ต้องการขออนุญาตเรียกใช้การคำนวณ:
export VOXELGPT_APPROVAL_THRESHOLD=1000ค่าเริ่มต้นคือ 100 ตัวอย่าง
Voxelgpt ไม่เพียง แต่เป็นโปรแกรมเมอร์คู่เท่านั้น นอกจากนี้ยังเป็นเครื่องมือทางการศึกษา Voxelgpt สามารถเข้าถึงเอกสาร Fiftyone ทั้งหมดรวมถึงโพสต์บล็อกทั้งหมดในบล็อก Voxel51 และการถอดเสียงจากวิดีโอในช่อง Voxel51 YouTube สามารถใช้ทรัพยากรเหล่านี้ทั้งหมดเพื่อตอบคำถามที่เกี่ยวข้องกับ FIFYONE
นี่คือตัวอย่างของการสืบค้นเอกสารที่คุณสามารถถาม voxelgpt:
Voxelgpt จะให้ลิงก์ไปยังแหล่งข้อมูลที่เป็นประโยชน์ที่สุดในเอกสารบล็อกและช่อง YouTube ของ Voxel51 และช่อง YouTube สำหรับวิดีโอ YouTube ลิงก์จะชี้ไปที่การประทับเวลาที่เกี่ยวข้องมากที่สุดโดยตรง!
Voxelgpt สามารถตอบคำถามเกี่ยวกับสภาพแวดล้อมที่คุณใช้งาน Fiftyone รวมถึง:
นี่คือตัวอย่างของการสืบค้นพื้นที่ทำงานที่คุณสามารถถาม Voxelgpt:
ในที่สุด Voxelgpt สามารถตอบคำถามทั่วไปเกี่ยวกับการมองเห็นคอมพิวเตอร์การเรียนรู้ของเครื่องและวิทยาศาสตร์ข้อมูล มันสามารถช่วยให้คุณเข้าใจแนวคิดพื้นฐานและเรียนรู้วิธีเอาชนะปัญหาคุณภาพข้อมูล
นี่คือตัวอย่างของการค้นหาการเรียนรู้ของเครื่องที่คุณสามารถถาม Voxelgpt:
หากคุณยังไม่ได้ติดตั้ง FIFYONE:
pip install fiftyoneคุณจะต้องจัดเตรียมคีย์ OpenAI API (สร้าง):
export OPENAI_API_KEY=XXXXXXXXสำหรับใช้กับการปรับใช้ Azure ส่วนตัวของคุณดูที่นี่
หากคุณต้องการใช้ voxelgpt ในแอพ Fiftyone เท่านั้นคุณสามารถติดตั้งเป็นปลั๊กอิน:
fiftyone plugins download https://github.com/voxel51/voxelgpt
fiftyone plugins requirements @voxel51/voxelgpt --install หากคุณต้องการใช้โมดูล voxelgpt โดยตรงหรือพัฒนาโครงการในเครื่องคุณจะต้องใช้พื้นที่เก็บข้อมูลโคลน:
git clone https://github.com/voxel51/voxelgpt
cd voxelgptติดตั้งข้อกำหนด:
pip install -r requirements.txtและทำให้ปลั๊กอินพร้อมใช้งานในแอพ Fiftyone โดย symlinking ลงในไดเรกทอรีปลั๊กอินของคุณ:
# Symlinks your clone of voxelgpt into your FiftyOne plugins directory
ln -s " $( pwd ) " " $( fiftyone config plugins_dir ) /voxelgpt "ต้องการเพิ่ม Voxelgpt ในการปรับใช้ Fiftyone Teams ของคุณหรือไม่? คุณทำได้! คำแนะนำที่นี่
คุณสามารถใช้ voxelgpt กับการปรับใช้ Azure ส่วนตัวของคุณโดยการตั้งค่าตัวแปรสภาพแวดล้อมต่อไปนี้:
export OPENAI_API_TYPE=azure
export AZURE_OPENAI_ENDPOINT= < azure_endpoint >
export AZURE_OPENAI_KEY= < azure_api_key >
export AZURE_OPENAI_GPT35_DEPLOYMENT_NAME= < gpt35-deployment-name >
export AZURE_OPENAI_GPT4O_DEPLOYMENT_NAME= < gpt4o-deployment-name >
export AZURE_OPENAI_TEXT_EMBEDDING_3_LARGE_DEPLOYMENT_NAME= < embedding-deployment-name >หากไม่มีการตั้งค่าตัวแปรสภาพแวดล้อมสามตัวแรก VoxelGPT จะเริ่มต้นเป็น OpenAI API สำหรับตัวแปรสภาพแวดล้อมสามตัวสุดท้ายหากไม่พบชุดใด ๆ ของทรัพยากร Voxelgpt จะเริ่มต้นที่จะใช้ OpenAI API สำหรับรุ่นที่เฉพาะเจาะจงนั้น
คุณสามารถใช้ voxelgpt ในแอพ Fiftyone ได้โดยการโหลดชุดข้อมูลใด ๆ :
import fiftyone as fo
import fiftyone . zoo as foz
dataset = foz . load_zoo_dataset ( "quickstart" )
session = fo . launch_app ( dataset )แล้วก็:
+ ถัดจากแท็บตัวอย่างและเลือก voxelgptตัวอย่างเช่นลองถามคำถามต่อไปนี้:
เคล็ดลับ PRO: ใช้คำหลัก now เพื่อรวมพรอมต์ก่อนหน้าของคุณเป็นบริบทสำหรับคำถามต่อไปของคุณ!
นอกจากนี้คุณยังสามารถเรียกใช้ Voxelgpt เป็นผู้ให้บริการได้โดยกดปุ่ม ~ บนแป้นพิมพ์ของคุณและเลือก Ask VoxelGPT จากรายการ สิ่งนี้จะเปิดขึ้นโมดัลขนาดเล็กที่คุณสามารถพิมพ์ในแบบสอบถามของคุณ
หากคุณติดตั้งในเครื่องคุณสามารถโต้ตอบโดยตรงกับ Voxelgpt ผ่าน Python
คุณสามารถใช้ ask_voxelgpt_interactive() เพื่อเรียกใช้เซสชันแบบโต้ตอบซึ่งคุณสามารถสนทนากับ VOXELGPT ผ่านพรอมต์ input() นำทางไปยังไดเรกทอรีที่ Voxelgpt ตั้งอยู่และรัน:
import fiftyone as fo
import fiftyone . zoo as foz
from voxelgpt import ask_voxelgpt_interactive
dataset = foz . load_zoo_dataset ( "quickstart" )
session = fo . launch_app ( dataset )
ask_voxelgpt_interactive ( dataset , session = session ) เคล็ดลับ PRO: ใช้คำหลัก now เพื่อรวมพรอมต์ก่อนหน้าของคุณเป็นบริบทสำหรับแบบสอบถามถัดไปของคุณ
ตามปกติคุณสามารถแจ้งให้ Voxelgpt ด้วยชุดข้อมูลการรวมกันเอกสารและแบบสอบถามการมองเห็นคอมพิวเตอร์ทั่วไป ตัวอย่างเช่นการสนทนาอาจมีลักษณะ:
You:
what is the difference between precision and recall?
VoxelGPT:
Precision and recall are two important metrics used to evaluate the
performance of a machine learning model in classification tasks. Precision
measures the proportion of true positive predictions among all positive
predictions made by the model. Recall, on the other hand, measures the
proportion of true positive predictions among all actual positive instances
in the dataset.
In other words, precision is the ability of the model to correctly identify
positive instances, while recall is the ability of the model to identify
all positive instances. A high precision means that the model is making
very few false positive predictions, while a high recall means that the
model is able to identify most of the positive instances in the dataset.
It is important to balance precision and recall when evaluating a model's
performance. A model with high precision but low recall may be missing
important positive instances, while a model with high recall but low
precision may be making too many false positive predictions.
In the context of the FiftyOne library, precision and recall can be
computed using the `fiftyone.utils.metrics` module, which provides
functions for computing various classification metrics. For example, the
`fiftyone.utils.metrics.binary_classification` function can be used to
compute precision and recall for binary classification tasks.
You:
does FiftyOne integrate with Label Studio?
VoxelGPT:
Yes, FiftyOne integrates with Label Studio. The integration allows you to
easily upload your data directly from FiftyOne to Label Studio for labeling.
You can get started with Label Studio through a simple pip install to get a
local server up and running. FiftyOne provides simple setup instructions
that you can use to specify the necessary account credentials and server
endpoint to use. FiftyOne provides an API to create projects, upload data,
define label schemas, and download annotations using Label Studio, all
programmatically in Python. All of the following label types are supported
for image datasets: Classification, Detections, Instance segmentations,
Polygons and polylines, Keypoints, Scalar fields, and Semantic segmentation.
Sources:
- https://docs.voxel51.com/integrations/index.html
- https://docs.voxel51.com/integrations/labelstudio.html
You:
show me predicted airplanes
VoxelGPT:
Identified potential algorithms: evaluation
No evaluation runs found.
Identified potential fields: predictions
Identified potential label classes: {'predictions': ['airplane']}
Identified potential view stages: ['match', 'filter_labels', 'match_labels', 'exclude_labels', 'filter_field']
Okay, I'm going to load dataset.filter_labels("predictions",F("label") == "airplane")
You:
now only show me the first 10 samples
VoxelGPT:
Identified potential algorithms: evaluation
No evaluation runs found.
Identified potential fields: predictions
Identified potential label classes: {'predictions': ['airplane']}
Identified potential view stages: ['match', 'limit', 'limit_labels', 'skip', 'sort_by']
Okay, I'm going to load dataset.match(F("predictions.detections.label").contains("airplane")).limit(10)
You: exit
ในโหมดอินเทอร์แอคทีฟ VoxelGPT จะโหลดมุมมองใด ๆ ที่สร้างขึ้นในแอพโดยอัตโนมัติและคุณสามารถเข้าถึงได้ผ่านวัตถุเซสชันของคุณ:
print ( session . view . count ( "predictions.detections" )) นอกจากนี้คุณยังสามารถใช้ ask_voxelgpt() เพื่อแจ้ง VoxelGPT ด้วยการสืบค้นแต่ละรายการ:
from voxelgpt import ask_voxelgpt
ask_voxelgpt ( "Does FiftyOne integrate with CVAT?" ) Yes, FiftyOne integrates with CVAT, which is an open-source image and video
annotation tool. You can upload your data directly from FiftyOne to CVAT to add or
edit labels. You can use CVAT either through the hosted server at app.cvat.ai or
through a self-hosted server. In either case, FiftyOne provides simple setup
instructions that you can use to specify the necessary account credentials and
server endpoint to use. The tight integration between FiftyOne and CVAT allows
you to curate and explore datasets in FiftyOne and then send off samples or
existing labels for annotation in CVAT with just one line of code. To use CVAT,
you must create an account on a CVAT server. By default, FiftyOne uses app.cvat.ai.
If you haven’t already, go to app.cvat.ai and create an account now. Another option
is to set up CVAT locally and then configure FiftyOne to use your self-hosted server.
A primary benefit of setting up CVAT locally is that you are limited to 10 tasks and
500MB of data with app.cvat.ai.
Sources:
- https://docs.voxel51.com/integrations/cvat.html#examples
- https://docs.voxel51.com/tutorials/cvat_annotation.html#Annotating-Datasets-with-CVAT
- https://docs.voxel51.com/tutorials/cvat_annotation.html#Setup
- https://docs.voxel51.com/integrations/index.html#fiftyone-integrations
เมื่อ Voxelgpt สร้างมุมมองในการตอบคำถามของคุณมันจะถูกส่งคืน:
import fiftyone as fo
import fiftyone . zoo as foz
dataset = foz . load_zoo_dataset ( "quickstart" )
view = ask_voxelgpt ( "show me 10 random samples" , dataset ) Identified potential view stages: ['match', 'limit', 'skip', 'take', 'sort_by']
Okay, I'm going to load dataset.take(10)
Voxelgpt ได้รับการฝึกฝนให้จดจำคำหลักบางคำที่ช่วยให้เข้าใจเจตนาของคุณ:
| คำสำคัญ | ความหมาย |
|---|---|
show / display | บอก Voxelgpt ว่าคุณต้องการให้สอบถามชุดข้อมูลของคุณและแสดงผลลัพธ์ |
docs / how / FiftyOne | บอก Voxelgpt ว่าคุณต้องการให้คำถามกับเอกสาร Fiftyone |
now | ใช้ประวัติการแชทของคุณเป็นบริบทเพื่อตีความคำถามต่อไปของคุณ ตัวอย่างเช่นหากคุณถาม "แสดงภาพกับผู้คน" แล้วถามว่า "ตอนนี้แสดงให้ฉันเห็น 10 ภาพที่ไม่เหมือนใครที่สุด" Voxelgpt จะเข้าใจว่าคุณต้องการแสดงภาพที่ไม่เหมือนใครมากที่สุด 10 ภาพกับผู้คน |
help | พิมพ์ข้อความช่วยเหลือพร้อมคำแนะนำการใช้งาน |
reset | รีเซ็ตประวัติการสนทนา |
exit | ออกจากเซสชัน Python แบบโต้ตอบ |
ยินดีต้อนรับ! ตรวจสอบคู่มือการบริจาคสำหรับคำแนะนำ
Voxelgpt ใช้:
VoxelGPT ให้การสนับสนุนที่ จำกัด สำหรับวิดีโอชุดข้อมูลที่จัดกลุ่มและสื่อ 3D การกรองขั้นพื้นฐานการสืบค้นและการรวมตัวจะยังคงทำงานอยู่ แต่อย่าคาดหวังข้อมูลเชิงลึกที่ลึกลงไปในข้อมูล 3D
การใช้งานนี้ขึ้นอยู่กับชุดตัวอย่างที่ จำกัด ดังนั้นจึงไม่สามารถสรุปได้ดีกับชุดข้อมูลทั้งหมด ยิ่งคำถามที่เฉพาะเจาะจงของคุณมากเท่าไหร่ผลลัพธ์ก็จะยิ่งดีขึ้นเท่านั้น หากคุณพบว่าผลลัพธ์ไม่ใช่สิ่งที่คุณคาดหวังโปรดแจ้งให้เราทราบ!
หากคุณทำมันไกลขนาดนี้เราขอขอบคุณอย่างมากหากคุณใช้เวลาสักครู่เพื่อตรวจสอบ Fiftyone และให้ดาวกับเรา!
Fiftyone เป็นห้องสมุดโอเพนซอร์สสำหรับการสร้างชุดข้อมูลคุณภาพสูงและรุ่นวิสัยทัศน์คอมพิวเตอร์ มันเป็นเครื่องยนต์ที่ให้อำนาจโครงการนี้
ขอบคุณสำหรับการเยี่ยมชม! -
หากคุณต้องการเข้าร่วมชุมชนวิศวกรนักวิจัยและผู้ปฏิบัติงานที่รัก Visual AI เข้าร่วมชุมชน Fiftyone Slack!
