awesome openai vision api experiments

openai ビジョン API の実験?

こんにちは

OpenAI Vision API を試して構築したい人にとって必須のリソースです。このリポジトリは、革新的な実験のハブとして機能し、単純な画像分類から高度なゼロショット学習モデルに至るまで、さまざまなアプリケーションを紹介します。これは、初心者と専門家の両方が Vision API の機能を探索し、その結果を共有し、ビジュアル AI の限界を押し上げるために協力するためのスペースです。

OpenAI API を試すには API ? が必要です。ここで入手できます。

️制限事項

• 1 つの API キーあたり 1 日あたり 100 の API リクエスト。
• 物体検出や画像セグメンテーションには使用できません。この問題は、GPT-4V を GroundingDINO や Segment Anything (SAM) などの基本モデルと組み合わせることで解決できます。サンプルをご覧になり、ブログ投稿をお読みください。

?実験

実験	補完的な材料	著者
WebcamGPT - ビデオ ストリームとチャットする		@SkalskiP
HotDogGPT - シンプルな画像分類アプリケーション		@SkalskiP
GPT-4V を使用したゼロショット画像分類器		@capjamesg
GroundingDINO + GPT-4V によるゼロショット物体検出		@capjamesg
GPT-4V 対 CLIP		@capjamesg
GPT-4V セットオブマーク (SoM) 付き		Jianwei Yang、Hao Zhang、Feng Li、Xueyan Zou、Chunyuan Li、Jianfeng Gao
GPT-4V ウェブ版		@Jiayi-Pan
NBAゲームの自動ナレーション		@SkalskiP
スクリーンショットからコードへ		@アビ
GPTと視力検査		ロボフローチーム

webcamgpt.mov

⁉️必読論文

• セット オブ マーク プロンプトが GPT-4V で驚異的な視覚的グラウンディングを解き放つ by Jianwei Yang、Hao Zhang、Feng Li、Xueyan Zou、Chunyuan Li、Jianfeng Gao
• LMM の夜明け: GPT-4V(ision) による予備調査 by Zhengyuan Yang、Linjie Li、Kevin Lin、Jianfeng Wang、Chung-Ching Lin、Zicheng Liu、Lijuan Wang
• OpenAI による GPT-4 システム カード

ブログ

• CLIP と GPT-4V の分類の比較方法
• GPT-4V による物体検出の実験
• API を使用して GPT-4 を抽出して分類する
• DINO-GPT4-V: 2 段階検出モデルで GPT-4V を使用する
• GPT-4V(ision)のファーストインプレッション

?貢献

このリポジトリをより良いものにするために、皆様のご協力をお待ちしております。新しい実験を追加したい場合でも、改善のための提案がある場合でも、お気軽に Issue またはプルリクエストを開いてください。

新しい実験を追加したい場合は、貢献ガイドを参照してください。そこでは必要な情報がすべて見つかります。