awesome openai vision api experiments

openai 视觉 api 实验？

你好

对于任何想要尝试和构建 OpenAI Vision API 的人来说，这是必备的资源。该存储库作为创新实验的中心，展示了从简单的图像分类到先进的零样本学习模型的各种应用。这是初学者和专家探索 Vision API 功能、分享他们的发现并协作突破视觉 AI 界限的空间。

试验 OpenAI API 需要 API 吗？你可以在这里得到一个。

️局限性

• 每个 API 密钥每天有 100 个 API 请求。
• 不能用于对象检测或图像分割。我们可以通过将 GPT-4V 与 GroundingDINO 或 Segment Anything (SAM) 等基础模型相结合来解决这个问题。请查看示例并阅读我们的博客文章。

？实验

实验	补充材料	作者
WebcamGPT - 通过视频流聊天		@SkalskiP
HotDogGPT - 简单的图像分类应用程序		@SkalskiP
使用 GPT-4V 的零样本图像分类器		@capjamesg
使用 GroundingDINO + GPT-4V 进行零样本物体检测		@capjamesg
GPT-4V 与 CLIP		@capjamesg
带标记集 (SoM) 的 GPT-4V		杨建伟、张浩、李峰、邹雪艳、李春元、高剑锋
网络上的 GPT-4V		@潘嘉仪
NBA比赛自动配音		@SkalskiP
屏幕截图到代码		@阿比
GPT 视力检查		Roboflow团队

网络摄像头.mov

?️ 必读论文

• Set-of-Mark 提示在 GPT-4V 中释放非凡的视觉基础作者：Jianwei Yang、Hao Zhu、Feng Li、Xueyan Zou、Chunyuan Li、Jianfeng Gau
• LMM 的黎明：GPT-4V(ision) 的初步探索 作者：Zhengyuan Yang、Linjie Li、Kevin Lin、Jianfeng Wang、Chung-Ching Lin、Zi Cheng Liu、Lijuan Wang
• OpenAI 的 GPT-4 系统卡

博客

• CLIP 和 GPT-4V 如何比较分类
• 使用 GPT-4V 进行物体检测的实验
• 使用 API 提取 GPT-4 进行分类
• DINO-GPT4-V：在两阶段检测模型中使用 GPT-4V
• 对 GPT-4V(ision) 的第一印象

？贡献

我们希望您能帮助我们使这个存储库变得更好！无论您是想添加新实验还是有任何改进建议，请随时提出问题或拉取请求。

如果您能够胜任这项任务并想要添加新实验，请查看我们的贡献指南。在那里您可以找到您需要的所有信息。