awesome openai vision api experiments

эксперименты openai Vision API?

Привет

Обязательный ресурс для всех, кто хочет экспериментировать и развивать API OpenAI Vision. Этот репозиторий служит центром инновационных экспериментов, демонстрируя различные приложения — от простой классификации изображений до продвинутых моделей обучения с нулевым выстрелом. Это место, где новички и эксперты могут изучить возможности Vision API, поделиться своими выводами и сотрудничать в расширении границ визуального ИИ.

Для экспериментирования с API OpenAI требуется API?. Вы можете получить его здесь.

️ Ограничения

• 100 запросов API на один ключ API в день.
• Невозможно использовать для обнаружения объектов или сегментации изображений. Мы можем решить эту проблему, объединив GPT-4V с такими базовыми моделями, как GroundingDINO или Segment Anything (SAM). Пожалуйста, взгляните на пример и прочитайте сообщение в нашем блоге.

? Эксперименты

эксперимент	дополнительные материалы	авторы
WebcamGPT - чат с видеопотоком		@СкальскиП
HotDogGPT — простое приложение для классификации изображений		@СкальскиП
классификатор изображений с нулевым кадром с GPT-4V		@capjamesg
обнаружение объектов с нулевым выстрелом с помощью GroundingDINO + GPT-4V		@capjamesg
GPT-4V против CLIP		@capjamesg
GPT-4V с набором марок (SoM)		Цзяньвэй Ян, Хао Чжан, Фэн Ли, Сюэянь Цзоу, Чуньюань Ли, Цзяньфэн Гао
GPT-4V в Интернете		@Джиай-Пан
автоматизированная озвучка игры НБА		@SkalskiP
скриншот в код		@аби
GPT с проверкой зрения		Команда Робофлоу

webcamgpt.mov

?️ Обязательно прочтите статьи

• Подсказка с набором меток открывает необыкновенное визуальное обоснование в GPT-4V Цзяньвэй Ян, Хао Чжан, Фэн Ли, Сюэянь Цзоу, Чуньюань Ли, Цзяньфэн Гао
• Рассвет LMM: предварительные исследования с GPT-4V(ision) Чжэнъюань Ян, Линьцзе Ли, Кевин Линь, Цзяньфэн Ван, Чун-Чинг Линь, Цзычэн Лю, Лицзюань Ван
• Системная карта GPT-4 от OpenAI

Блоги

• Как CLIP и GPT-4V сравниваются для классификации
• Эксперименты с GPT-4V для обнаружения объектов
• Дистилляция GPT-4 для классификации с помощью API
• DINO-GPT4-V: используйте GPT-4V в модели двухэтапного обнаружения.
• Первые впечатления от GPT-4V(ision)

? Вклад

Мы будем рады вашей помощи в улучшении этого репозитория! Если вы хотите добавить новый эксперимент или у вас есть предложения по улучшению, смело открывайте проблему или запрос на включение.

Если вы готовы к этой задаче и хотите добавить новый эксперимент, ознакомьтесь с нашим руководством по участию. Там вы сможете найти всю необходимую информацию.