awesome openai vision api experiments

¿Experimentos de openai vision api?

Hola

El recurso imprescindible para cualquiera que quiera experimentar y desarrollar la API OpenAI Vision. Este repositorio sirve como centro para experimentos innovadores y muestra una variedad de aplicaciones que van desde clasificaciones de imágenes simples hasta modelos avanzados de aprendizaje de disparo cero. Es un espacio para que tanto principiantes como expertos exploren las capacidades de Vision API, compartan sus hallazgos y colaboren para ampliar los límites de la IA visual.

¿Experimentar con la API de OpenAI requiere una API? Puedes conseguir uno aquí.

️ Limitaciones

• 100 solicitudes de API por clave de API por día.
• No se puede utilizar para la detección de objetos o la segmentación de imágenes. Podemos resolver este problema combinando GPT-4V con modelos fundamentales como GroundingDINO o Segment Anything (SAM). Eche un vistazo al ejemplo y lea nuestra publicación de blog.

? experimentos

experimento	materiales complementarios	autores
WebcamGPT: chatea con transmisión de vídeo		@SkalskiP
HotDogGPT: aplicación sencilla de clasificación de imágenes		@SkalskiP
clasificador de imágenes de disparo cero con GPT-4V		@capjamesg
detección de objetos de disparo cero con GroundingDINO + GPT-4V		@capjamesg
GPT-4V frente a CLIP		@capjamesg
GPT-4V con conjunto de marcas (SoM)		Jianwei Yang, Hao Zhang, Feng Li, Xueyan Zou, Chunyuan Li, Jianfeng Gao
GPT-4V en la Web		@Jiayi-Pan
voz en off automatizada del juego de la NBA		@SkalskiP
captura de pantalla a código		@abi
GPT con chequeo de la visión		equipo de roboflow

webcamgpt.mov

?️ Debes leer artículos

• La indicación de conjunto de marcas desata una base visual extraordinaria en GPT-4V por Jianwei Yang, Hao Zhang, Feng Li, Xueyan Zou, Chunyuan Li, Jianfeng Gao
• El amanecer de los LMM: exploraciones preliminares con GPT-4V(ision) por Zhengyuan Yang, Linjie Li, Kevin Lin, Jianfeng Wang, Chung-Ching Lin, Zicheng Liu, Lijuan Wang
• Tarjeta de sistema GPT-4 de OpenAI

Blogs

• Cómo se comparan CLIP y GPT-4V para la clasificación
• Experimentos con GPT-4V para detección de objetos
• Destilación de GPT-4 para clasificación con una API
• DINO-GPT4-V: utilice GPT-4V en un modelo de detección de dos etapas
• Primeras impresiones con GPT-4V(ision)

? Contribución

¡Nos encantaría contar con tu ayuda para mejorar aún más este repositorio! Si desea agregar un nuevo experimento o tiene alguna sugerencia para mejorar, no dude en abrir un problema o una solicitud de extracción.

Si está preparado para la tarea y desea agregar un nuevo experimento, consulte nuestra guía de contribución. Allí podrás encontrar toda la información que necesitas.