awesome openai vision api experiments

openai 비전 API 실험?

안녕하세요

OpenAI Vision API를 실험하고 구축하려는 모든 사람을 위한 필수 리소스입니다. 이 저장소는 간단한 이미지 분류부터 고급 제로샷 학습 모델에 이르기까지 다양한 애플리케이션을 선보이는 혁신적인 실험의 허브 역할을 합니다. 초보자와 전문가 모두 Vision API의 기능을 탐색하고, 발견한 내용을 공유하고, 시각적 AI의 경계를 넓히기 위해 협력할 수 있는 공간입니다.

OpenAI API를 실험하려면 API ?가 필요합니다. 여기에서 하나 얻을 수 있습니다.

️ 제한 사항

• 단일 API 키당 하루에 100개의 API 요청.
• 객체 감지 또는 이미지 분할에는 사용할 수 없습니다. GPT-4V를 GroundingDINO 또는 SAM(Segment Anything)과 같은 기본 모델과 결합하여 이 문제를 해결할 수 있습니다. 예제를 살펴보고 블로그 게시물을 읽어보세요.

? 실험

실험	보완 재료	작가
WebcamGPT - 비디오 스트림으로 채팅		@SkalskiP
HotDogGPT - 간단한 이미지 분류 애플리케이션		@SkalskiP
GPT-4V를 사용한 제로샷 이미지 분류기		@capjamesg
GroundingDINO + GPT-4V를 사용한 제로샷 물체 감지		@capjamesg
GPT-4V 대 CLIP		@capjamesg
SoM(세트 오브 마크)이 포함된 GPT-4V		Jianwei Yang, Hao Zhang, Feng Li, Xueyan Zou, Chunyuan Li, Jianfeng Gao
웹상의 GPT-4V		@지이판
NBA 게임의 자동 음성 해설		@SkalskiP
스크린샷에서 코드로		@abi
시력 검진이 포함된 GPT		로보플로우팀

웹캠gpt.mov

?️ 반드시 읽어야 할 논문

• 마크 세트 프롬프트는 GPT-4V에서 탁월한 시각적 접지를 제공합니다. 작성자: Jianwei Yang, Hao Zhang, Feng Li, Xueyan Zou, Chunyuan Li, Jianfeng Gao
• LMM의 시작: GPT-4V(ision)를 사용한 예비 탐색 작성자: Zhengyuan Yang, Linjie Li, Kevin Lin, Jianfeng Wang, Chung-Ching Lin, Zicheng Liu, Lijuan Wang
• OpenAI의 GPT-4 시스템 카드

블로그

• CLIP과 GPT-4V의 분류 비교 방법
• 객체 감지를 위한 GPT-4V 실험
• API를 사용한 분류를 위한 GPT-4 증류
• DINO-GPT4-V: 2단계 감지 모델에서 GPT-4V 사용
• GPT-4V(ision)의 첫인상

? 기부금

이 저장소를 더욱 개선하는 데 도움을 주시면 감사하겠습니다! 새로운 실험을 추가하고 싶거나 개선을 위한 제안 사항이 있으면 언제든지 문제를 열거나 끌어오기 요청을 보내주세요.

작업을 수행하고 새 실험을 추가하고 싶다면 기여 가이드를 살펴보세요. 거기에서 필요한 모든 정보를 찾을 수 있습니다.