awesome openai vision api experiments

experimentos de API de visão openai?

Olá

O recurso obrigatório para quem deseja experimentar e desenvolver a API OpenAI Vision. Este repositório serve como um centro para experimentos inovadores, apresentando uma variedade de aplicações que vão desde classificações simples de imagens até modelos avançados de aprendizagem zero-shot. É um espaço para iniciantes e especialistas explorarem os recursos da API Vision, compartilharem suas descobertas e colaborarem para ampliar os limites da IA ​​visual.

Experimentar a API OpenAI requer uma API?. Você pode conseguir um aqui.

️ Limitações

• 100 solicitações de API por chave de API por dia.
• Não pode ser usado para detecção de objetos ou segmentação de imagens. Podemos resolver esse problema combinando o GPT-4V com modelos básicos como GroundingDINO ou Segment Anything (SAM). Por favor, dê uma olhada no exemplo e leia nossa postagem no blog.

? Experimentos

experimentar	materiais complementares	autores
WebcamGPT - converse com stream de vídeo		@SkalskiP
HotDogGPT - aplicativo simples de classificação de imagens		@SkalskiP
classificador de imagem zero-shot com GPT-4V		@capjamesg
detecção de objeto zero-shot com GroundingDINO + GPT-4V		@capjamesg
GPT-4V versus CLIP		@capjamesg
GPT-4V com conjunto de marca (SoM)		Jianwei Yang, Hao Zhang, Feng Li, Xueyan Zou, Chunyuan Li, Jianfeng Gao
GPT-4V na web		@Jiayi-Pan
narração automática do jogo da NBA		@SkalskiP
captura de tela para código		@abi
GPT com exame de visão		Equipe Robofluxo

webcamgpt.mov

?️ Artigos obrigatórios

• O prompt de definição de marca libera base visual extraordinária no GPT-4V por Jianwei Yang, Hao Zhang, Feng Li, Xueyan Zou, Chunyuan Li, Jianfeng Gao
• O Amanhecer dos LMMs: Explorações Preliminares com GPT-4V(ision) por Zhengyuan Yang, Linjie Li, Kevin Lin, Jianfeng Wang, Chung-Ching Lin, Zicheng Liu, Lijuan Wang
• Placa de sistema GPT-4 da OpenAI

Blogues

• Como CLIP e GPT-4V se comparam para classificação
• Experimentos com GPT-4V para detecção de objetos
• Destilação de GPT-4 para classificação com API
• DINO-GPT4-V: Use GPT-4V em um modelo de detecção de dois estágios
• Primeiras impressões com GPT-4V(ision)

? Contribuição

Adoraríamos sua ajuda para tornar este repositório ainda melhor! Se você deseja adicionar um novo experimento ou tem alguma sugestão de melhoria, sinta-se à vontade para abrir um problema ou pull request.

Se você estiver à altura da tarefa e quiser adicionar um novo experimento, consulte nosso guia de contribuição. Lá você encontrará todas as informações que precisa.