awesome openai vision api experiments

Openai Vision API-Experimente?

Hallo

Die unverzichtbare Ressource für alle, die mit der OpenAI Vision API experimentieren und darauf aufbauen möchten. Dieses Repository dient als Drehscheibe für innovative Experimente und präsentiert eine Vielzahl von Anwendungen, die von einfachen Bildklassifizierungen bis hin zu fortschrittlichen Zero-Shot-Lernmodellen reichen. Es ist ein Ort für Anfänger und Experten, um die Möglichkeiten der Vision API zu erkunden, ihre Erkenntnisse auszutauschen und gemeinsam daran zu arbeiten, die Grenzen der visuellen KI zu erweitern.

Für das Experimentieren mit der OpenAI-API ist eine API erforderlich. Hier können Sie eins bekommen.

️ Einschränkungen

• 100 API-Anfragen pro einzelnem API-Schlüssel pro Tag.
• Kann nicht zur Objekterkennung oder Bildsegmentierung verwendet werden. Wir können dieses Problem lösen, indem wir GPT-4V mit grundlegenden Modellen wie GroundingDINO oder Segment Anything (SAM) kombinieren. Schauen Sie sich bitte das Beispiel an und lesen Sie unseren Blogbeitrag.

? Experimente

Experiment	ergänzende Materialien	Autoren
WebcamGPT – Chat mit Videostream		@SkalskiP
HotDogGPT – einfache Bildklassifizierungsanwendung		@SkalskiP
Zero-Shot-Bildklassifizierer mit GPT-4V		@capjamesg
Zero-Shot-Objekterkennung mit GroundingDINO + GPT-4V		@capjamesg
GPT-4V vs. CLIP		@capjamesg
GPT-4V mit Set-of-Mark (SoM)		Jianwei Yang, Hao Zhang, Feng Li, Xueyan Zou, Chunyuan Li, Jianfeng Gao
GPT-4V im Web		@Jiayi-Pan
Automatisiertes Voiceover des NBA-Spiels		@SkalskiP
Screenshot-to-Code		@abi
GPT mit Sehtest		Roboflow-Team

webcamgpt.mov

?️ Muss Papiere lesen

• Set-of-Mark-Prompting entfesselt außergewöhnliche visuelle Erdung in GPT-4V von Jianwei Yang, Hao Zhang, Feng Li, Xueyan Zou, Chunyuan Li, Jianfeng Gao
• Der Beginn der LMMs: Vorläufige Untersuchungen mit GPT-4V(ision) von Zhengyuan Yang, Linjie Li, Kevin Lin, Jianfeng Wang, Chung-Ching Lin, Zicheng Liu, Lijuan Wang
• GPT-4-Systemkarte von OpenAI

Blogs

• Vergleich von CLIP und GPT-4V zur Klassifizierung
• Experimente mit GPT-4V zur Objekterkennung
• Destillieren von GPT-4 zur Klassifizierung mit einer API
• DINO-GPT4-V: Verwenden Sie GPT-4V in einem zweistufigen Erkennungsmodell
• Erste Eindrücke mit GPT-4V(ision)

? Beitrag

Wir würden uns über Ihre Hilfe freuen, dieses Repository noch besser zu machen! Unabhängig davon, ob Sie ein neues Experiment hinzufügen möchten oder Verbesserungsvorschläge haben, können Sie jederzeit ein Problem oder eine Pull-Anfrage eröffnen.

Wenn Sie der Aufgabe gewachsen sind und ein neues Experiment hinzufügen möchten, schauen Sie sich bitte unseren Beitragsleitfaden an. Dort finden Sie alle Informationen, die Sie benötigen.