awesome openai vision api experiments

openai 視覺 api 實驗？

你好

對於任何想要嘗試和建立 OpenAI Vision API 的人來說，這是必備的資源。該儲存庫作為創新實驗的中心，展示了從簡單的圖像分類到先進的零樣本學習模型的各種應用。這是初學者和專家探索 Vision API 功能、分享他們的發現並協作突破視覺 AI 界限的空間。

試驗 OpenAI API 需要 API 嗎？你可以在這裡得到一個。

️限制

• 每個 API 金鑰每天有 100 個 API 請求。
• 不能用於物件檢測或影像分割。我們可以透過將 GPT-4V 與 GroundingDINO 或 Segment Anything (SAM) 等基礎模型結合來解決這個問題。請查看範例並閱讀我們的部落格文章。

？實驗

實驗	補充資料	作者
WebcamGPT - 透過視訊串流聊天		@SkalskiP
HotDogGPT - 簡單的圖像分類應用程式		@SkalskiP
使用 GPT-4V 的零樣本影像分類器		@capjamesg
使用 GroundingDINO + GPT-4V 進行零樣本物件偵測		@capjamesg
GPT-4V 與 CLIP		@capjamesg
帶有標記集 (SoM) 的 GPT-4V		楊建偉、張浩、李峰、鄒雪艷、李春元、高劍鋒
網路上的 GPT-4V		@潘嘉儀
NBA比賽自動配音		@SkalskiP
螢幕截圖到程式碼		@阿比
GPT 視力檢查		Roboflow團隊

網路攝影機.mov

?️ 必讀論文

• Set-of-Mark 提示在 GPT-4V 中釋放非凡的視覺基礎作者：Jianwei Yang、Hao Zhu、Feng Li、Xueyan Zou、Chunyuan Li、Jianfeng Gau
• LMM 的黎明：GPT-4V(ision) 的初步探索 作者：Zhengyuan Yang、Linjie Li、Kevin Lin、Jianfeng Wang、Chung-Ching Lin、Zi Cheng Liu、Lijuan Wang
• OpenAI 的 GPT-4 系統卡

部落格

• CLIP 和 GPT-4V 如何比較分類
• 使用 GPT-4V 進行物體偵測的實驗
• 使用 API 提取 GPT-4 進行分類
• DINO-GPT4-V：在兩階段檢測模型中使用 GPT-4V
• 對 GPT-4V(ision) 的第一印象

？貢獻

我們希望您能幫助我們讓這個儲存庫變得更好！無論您是想添加新實驗還是有任何改進建議，請隨時提出問題或拉取請求。

如果您能夠勝任這項任務並想要新增新實驗，請查看我們的貢獻指南。在那裡您可以找到您需要的所有資訊。