ฝึกงานVL

ครอบครัว InternVL: ปิดช่องว่างสู่โมเดลหลายรูปแบบเชิงพาณิชย์ด้วย Open-Source Suites —— ทางเลือกโอเพ่นซอร์สบุกเบิกแทน GPT-4o

ข่าว

• 2024/10/21 : เราเปิดตัวซีรี่ส์ Mini-InternVL โมเดลเหล่านี้ให้ประสิทธิภาพที่น่าประทับใจด้วยขนาดที่น้อยที่สุด: รุ่น 4B ให้ประสิทธิภาพ 90% โดยมีขนาดเพียง 5% ของขนาดรุ่น สำหรับรายละเอียดเพิ่มเติม โปรดตรวจสอบหน้าโครงการและเอกสารของเรา

• 2024/08/01 : ทีมงาน Chartmimic ประเมินโมเดลซีรีส์ InternVL2 ตามเกณฑ์มาตรฐานของพวกเขา รุ่น InternVL2-26B และ 76B ประสบความสำเร็จในสองประสิทธิภาพสูงสุดในบรรดารุ่นโอเพ่นซอร์ส โดยรุ่น InternVL2 76B เหนือกว่า GeminiProVision และแสดงผลลัพธ์ที่เทียบเท่ากับ Claude-3-opus

• 2024/08/01 : InternVL2-Pro บรรลุประสิทธิภาพ SOTA ในกลุ่มโมเดลโอเพ่นซอร์สบนชุดข้อมูล CharXiv ซึ่งเหนือกว่าโมเดลโอเพ่นซอร์สหลายรุ่น เช่น GPT-4V, Gemini 1.5 Flash และ Claude 3 Sonnet

• 2024/07/24 : ทีม MLVU ประเมิน InternVL-1.5 ตามเกณฑ์มาตรฐานของพวกเขา ประสิทธิภาพโดยเฉลี่ยของงานแบบปรนัยคือ 50.4% ในขณะที่ประสิทธิภาพในงานกำเนิดคือ 4.02 ประสิทธิภาพในงานแบบปรนัยอยู่ในอันดับที่ 1 ในบรรดา MLLM แบบโอเพ่นซอร์สทั้งหมด

• 2024/07/18 : ?? InternVL2-40B บรรลุประสิทธิภาพ SOTA ในกลุ่มโมเดลโอเพ่นซอร์สบนชุดข้อมูล Video-MME โดยได้คะแนน 61.2 เมื่ออินพุต 16 เฟรม และ 64.4 เมื่ออินพุต 32 เฟรม มีประสิทธิภาพเหนือกว่ารุ่นโอเพ่นซอร์สอื่นๆ อย่างมาก และเป็นรุ่นโอเพ่นซอร์สที่ใกล้เคียงที่สุดกับ GPT-4o mini

• 2024/07/18 : ? InternVL2-Pro บรรลุประสิทธิภาพ SOTA บนการวัดประสิทธิภาพ DocVQA และ InfoVQA

• 2024/07/04 : ? เราเปิดตัวซีรีส์ InternVL2 InternVL2-Pro ได้รับความแม่นยำ 62.0% บนเกณฑ์มาตรฐาน MMMU ซึ่งตรงกับประสิทธิภาพของโมเดลเชิงพาณิชย์แบบปิดชั้นนำ เช่น GPT-4o API ฟรีของรุ่นนี้สามารถใช้ได้โดยการกรอก (แบบฟอร์มใบสมัคร) / (申请表) รุ่นอื่นๆ มีจำหน่ายที่ลิงค์ HF

• 2024/06/19 : เราเสนอ Needle In A Multimodal Haystack (MM-NIAH) ซึ่งเป็นเกณฑ์มาตรฐานแรกที่ออกแบบมาเพื่อประเมินความสามารถของ MLLM ที่มีอยู่อย่างเป็นระบบเพื่อทำความเข้าใจเอกสารต่อเนื่องหลายรูปแบบขนาดยาว

• 2024/05/30 : เราเปิดตัว ShareGPT-4o ซึ่งเป็นชุดข้อมูลขนาดใหญ่ที่เราวางแผนที่จะเปิดแหล่งที่มาด้วยรูปภาพ 200K วิดีโอ 10K และเสียง 10K พร้อมคำอธิบายโดยละเอียด

• 2024/05/28 : ขอขอบคุณทีมงาน lmdeploy ที่ให้การสนับสนุนด้านปริมาณ AWQ รุ่น 4 บิตมีให้ใช้งานที่ OpenGVLab/InternVL-Chat-V1-5-AWQ

• 2024/05/13 : ขณะนี้ InternVL 1.0 สามารถใช้เป็นตัวเข้ารหัสข้อความสำหรับโมเดลการแพร่กระจาย เพื่อรองรับการสร้างหลายภาษาในกว่า 110 ภาษาทั่วโลก ดู MuLan สำหรับรายละเอียดเพิ่มเติม

• 2024/04/18 : InternVL-Chat-V1-5 ได้รับการเผยแพร่ที่ลิงก์ HF ซึ่งเข้าใกล้ประสิทธิภาพของ GPT-4V และ Gemini Pro บนเกณฑ์มาตรฐานต่างๆ เช่น MMMU, DocVQA, ChartQA, MathVista เป็นต้น

• 2024/02/27 : CVPR 2024 (ช่องปาก) ยอมรับ InternVL! -

• 2024/02/21 : InternVL-Chat-V1-2-Plus บรรลุประสิทธิภาพ SOTA บน MathVista (59.9), MMBench (83.8) และ MMVP (58.7) ดูบล็อกของเราสำหรับรายละเอียดเพิ่มเติม

• 2024/02/12 : InternVL-Chat-V1-2 เปิดตัวแล้ว ได้คะแนน 51.6 บน MMMU val และ 82.3 บนการทดสอบ MMBench สำหรับรายละเอียดเพิ่มเติม โปรดดูบล็อกและข้อมูล SFT ของเรา ขณะนี้โมเดลนี้มีอยู่ใน HuggingFace แล้ว และทั้งข้อมูลการฝึกอบรม / การประเมินผล และสคริปต์เป็นแบบโอเพ่นซอร์ส

• 2024/01/24 : InternVL-Chat-V1-1 เปิดตัวแล้ว รองรับภาษาจีนและมีความสามารถ OCR ที่แข็งแกร่งยิ่งขึ้น ดูที่นี่

• 2024/01/16 : เราเปิดตัวโค้ด mmcv/mmsegmentation/mmdetection ที่ปรับแต่งเอง ซึ่งผสานรวมกับ DeepSpeed ​​ซึ่งสามารถใช้สำหรับการฝึกโมเดลการตรวจจับและการแบ่งส่วนขนาดใหญ่

รายการสิ่งที่ต้องทำ

• รองรับ vLLM และ Ollama

• สร้างเอกสารใหม่โดยใช้ readthedocs

• รองรับการปรับแต่ง LLM ต่างๆ อย่างละเอียดด้วย LoRA

• รองรับอินพุตวิดีโอและ PDF ในการสาธิตออนไลน์

• เปิดตัว InternVL2 พร้อมการผสานรวม VisionLLMv2

• เผยแพร่ requirements.txt สำหรับ InternVL2

• เผยแพร่รหัสการฝึกอบรม / การประเมินผลสำหรับซีรี่ส์ InternVL2

• เผยแพร่ UI เว็บ Streamlit สำหรับ InternVL1.5 และ InternVL2

เอกสาร

• เริ่มต้นเลย

• การติดตั้ง: [สภาพแวดล้อม] [requirements.txt]

• การเตรียมข้อมูลการประเมิน: [การประเมิน InternVL]

• รูปแบบข้อมูลแชท: [ไฟล์ Meta] [ข้อความล้วน] [ภาพเดียว] [หลายภาพ] [วิดีโอ]

• InternVL-Chat API: [InternVL2-Pro]

• การสาธิตการแชทในพื้นที่: [การสาธิต Streamlit] [การสาธิต Gradio] [การสาธิต LMDeploy]

• บทช่วยสอน: [การเพิ่มประสิทธิภาพ InternVL2 บนคำบรรยาย COCO โดยใช้ LoRA การปรับแต่งแบบละเอียด]

• ครอบครัว VL ฝึกงาน

• InternVL 2.0: [บทนำ] [เริ่มต้นอย่างรวดเร็ว] [ละเอียด] [การประเมินผล] [การปรับใช้]

• InternVL 1.5: [บทนำ] [เริ่มต้นอย่างรวดเร็ว] [ละเอียด] [การประเมินผล] [การปรับใช้]

• InternVL 1.2: [บทนำ] [เริ่มต้นอย่างรวดเร็ว] [ละเอียด] [การประเมินผล]

• InternVL 1.1: [บทนำ] [เริ่มต้นอย่างรวดเร็ว] [การประเมินผล]

• InternVL 1.0: [การจัดหมวดหมู่] [CLIP-Benchmark] [การแบ่งส่วน] [InternVL-Chat-LLaVA] [InternVL-G]

เปรียบเทียบกับ SOTA VLLM

สวนสัตว์จำลอง

โมเดลภาษาขนาดใหญ่หลายรูปแบบ (InternVL 2.0)

ชื่อรุ่น	ส่วนวิสัยทัศน์	ส่วนภาษา	ลิงค์เอชเอฟ	เอ็มเอส ลิงค์	เอกสาร
ฝึกงานVL2-1B	InternViT‑300M‑448px	Qwen2-0.5B-คำสั่ง	- ลิงค์	- ลิงค์	- หมอ
ฝึกงานVL2-2B	InternViT‑300M‑448px	ฝึกงาน LM2 ‑ แชท ‑ 1 ‑ 8b	- ลิงค์	- ลิงค์	- หมอ
ฝึกงานVL2‑4B	InternViT‑300M‑448px	คำสั่ง Phi-3-mini-128k-	- ลิงค์	- ลิงค์	- หมอ
ฝึกงานVL2‑8B	InternViT‑300M‑448px	internlm2_5‑7b‑แชท	- ลิงค์	- ลิงค์	- หมอ
ฝึกงานVL2‑26B	ฝึกงานViT‑6B‑448px‑V1‑5	ฝึกงานlm2‑chat‑20b	- ลิงค์	- ลิงค์	- หมอ
ฝึกงานVL2‑40B	ฝึกงานViT‑6B‑448px‑V1‑5	นูส-เฮอร์มีส-2-ยี-34B	- ลิงค์	- ลิงค์	- หมอ
ฝึกงานVL2-Llama3-76B	ฝึกงานViT‑6B‑448px‑V1‑5	เฮอร์มีส-2-เทต้า- ลามะ-3-70B	- ลิงค์	- ลิงค์	- หมอ

InternVL2-Pro API

เรายินดีต้อนรับทุกคนให้ใช้ API ของเราเพื่อการวิจัย เพื่อการจัดการที่ดีขึ้น โปรดส่ง (แบบฟอร์มใบสมัคร) / (申请表) เพื่อรับการเข้าถึง API ฟรี

โมเดลภาษาขนาดใหญ่หลายรูปแบบ (InternVL 1.0-1.5)

แบบอย่าง	วันที่	ลิงค์เอชเอฟ	เอ็มเอส ลิงค์	บันทึก
มินิ‑InternVL‑Chat‑4B‑V1‑5	2024.05.28	- ลิงค์	- ลิงค์	- 16% ของขนาดรุ่น, 90% ของประสิทธิภาพ
มินิ‑InternVL‑Chat‑2B‑V1‑5	2024.05.19	- ลิงค์	- ลิงค์	- 8% ของขนาดโมเดล 80% ของประสิทธิภาพ
ฝึกงานVL‑Chat‑V1‑5	2024.04.18	- ลิงค์	- ลิงค์	รองรับภาพ 4K; OCR ที่แข็งแกร่งเป็นพิเศษ เข้าใกล้ประสิทธิภาพของ GPT-4V และ Gemini Pro บนเกณฑ์มาตรฐานต่างๆ เช่น MMMU, DocVQA, ChartQA, MathVista เป็นต้น
ฝึกงานVL‑Chat‑V1‑2‑Plus	2024.02.21	- ลิงค์	- ลิงค์	ข้อมูล SFT มากขึ้นและแข็งแกร่งยิ่งขึ้น
ฝึกงานVL‑Chat‑V1‑2	2024.02.11	- ลิงค์	- ลิงค์	ขยาย LLM เป็น 34B
ฝึกงานVL‑Chat‑V1‑1	2024.01.24	- ลิงค์	- ลิงค์	รองรับภาษาจีนและ OCR ที่แข็งแกร่งยิ่งขึ้น
ฝึกงานVL‑Chat‑19B	12.25.2023	- ลิงค์	- ลิงค์	บทสนทนาต่อเนื่องหลายรูปแบบภาษาอังกฤษ
ฝึกงานVL‑Chat‑13B	12.25.2023	- ลิงค์	- ลิงค์	บทสนทนาต่อเนื่องหลายรูปแบบภาษาอังกฤษ

Vision Foundation Model (InternVL 1.0-1.5)

แบบอย่าง	วันที่	ลิงค์เอชเอฟ	เอ็มเอส ลิงค์	บันทึก
InternViT‑300M‑448px	2024.05.25	- ลิงค์	- ลิงค์	โมเดลรากฐานวิชันซิสเต็มกลั่นพร้อมพารามิเตอร์ 300M (?ใหม่)
ฝึกงานViT‑6B‑448px‑V1‑5	2024.04.20	- ลิงค์	- ลิงค์	รองรับความละเอียดไดนามิกและความสามารถในการแยกคุณสมบัติ OCR ที่แข็งแกร่งเป็นพิเศษโดยการฝึกอบรมล่วงหน้าแบบเพิ่มหน่วย (?ใหม่)
ฝึกงานViT‑6B‑448px‑V1‑2	2024.02.11	- ลิงค์	- ลิงค์	รองรับความละเอียด 448 โดยการฝึกล่วงหน้าแบบเพิ่มหน่วย
ฝึกงานViT‑6B‑448px‑V1‑0	2024.01.30	- ลิงค์	- ลิงค์	รองรับความละเอียด 448 โดยการฝึกล่วงหน้าแบบเพิ่มหน่วย
ฝึกงานViT‑6B‑224px	12.22.2023	- ลิงค์	- ลิงค์	InternViT-6B เวอร์ชันแรก ดึงมาจาก InternVL‑14B‑224px

รูปแบบพื้นฐานภาษาวิสัยทัศน์ (InternVL 1.0)

แบบอย่าง	วันที่	ลิงค์เอชเอฟ	เอ็มเอส ลิงค์	บันทึก
ฝึกงานVL‑14B‑224px	12.22.2023	- ลิงค์	- ลิงค์	แบบจำลองพื้นฐานภาษาวิสัยทัศน์ InternViT-6B + QLLaMA สามารถใช้สำหรับการดึงข้อความรูปภาพ เช่น CLIP

InternVL สามารถทำอะไรได้บ้าง?

การรับรู้ทางสายตา (คลิกเพื่อขยาย)

• การจำแนกประเภทภาพด้วย Linear-Probe [ดูรายละเอียด]

  ViT-22B ใช้ชุดข้อมูล JFT-3B ส่วนตัว

  วิธี	#พารามิเตอร์	อิน-1ก	ในเรียล	อิน-V2	อิน-เอ	อิน-อาร์	IN-ร่าง
  OpenCLIP-G	1.8B	86.2	89.4	77.2	63.8	87.8	66.4
  ไดโนฟ2-จี	1.1B	86.5	89.6	78.4	75.9	78.8	62.5
  EVA-01-คลิป-g	1.1B	86.5	89.3	77.4	70.5	87.7	63.1
  มาวส์-ViT-6.5B	6.5B	87.8	-	-	-	-	-
  ไวที-22บี*	21.7B	89.5	90.9	83.2	83.8	87.4	-
  InternViT-6B (ของเรา)	5.9B	88.2	90.4	79.9	77.5	89.8	69.1

• การแบ่งส่วนความหมาย [ดูรายละเอียด]

  วิธี	ตัวถอดรหัส	#param (รถไฟ/ทั้งหมด)	ขนาดครอบตัด	มิวยู
  OpenCLIP-G (แช่แข็ง)	เชิงเส้น	0.3M / 1.8B	512	39.3
  ViT-22B (แช่แข็ง)	เชิงเส้น	0.9M / 21.7B	504	34.6
  InternViT-6B (แช่แข็ง)	เชิงเส้น	0.5M / 5.9B	504	47.2 (+12.6)
  ViT-22B (แช่แข็ง)	อัปเปอร์เน็ต	0.8B / 22.5B	504	52.7
  InternViT-6B (แช่แข็ง)	อัปเปอร์เน็ต	0.4B / 6.3B	504	54.9 (+2.2)
  ไวที-22บี	อัปเปอร์เน็ต	22.5B / 22.5B	504	55.3
  InternViT-6B	อัปเปอร์เน็ต	6.3B / 6.3B	504	58.9 (+3.6)

• การจัดประเภทภาพแบบ Zero-Shot [ดูรายละเอียด]

  วิธี	อิน-1ก	อิน-เอ	อิน-อาร์	อิน-V2	IN-ร่าง	ออบเจ็กต์เน็ต
  OpenCLIP-G	80.1	69.3	92.1	73.6	68.9	73.0
  EVA-02-คลิป-E+	82.0	82.1	94.5	75.7	71.6	79.6
  ไวที-22บี*	85.9	90.1	96.0	80.9	-	87.6
  InternVL-C (ของเรา)	83.2	83.8	95.5	77.3	73.9	80.6

• การจัดหมวดหมู่ภาพ Zero-Shot หลายภาษา [ดูรายละเอียด]

  EN: อังกฤษ, ZH: จีน, JP: ญี่ปุ่น, Ar: อารบิก, IT: อิตาลี

  วิธี	IN-1K (อังกฤษ)	IN-1K (ZH)	IN-1K (JP)	IN-1K (เออาร์)	IN-1K (ไอที)
  Taiyi-คลิป-ViT-H	-	54.4	-	-	-
  WuKong-ViT-LG	-	57.5	-	-	-
  CN-คลิป-ViT-H	-	59.6	-	-	-
  AltCLIP-ViT-L	74.5	59.6	-	-	-
  EVA-02-คลิป-E+	82.0	-	-	-	41.2
  OpenCLIP-XLM-RH	77.0	55.7	53.1	37.0	56.8
  InternVL-C (ของเรา)	83.2	64.5	61.5	44.9	65.7

• การจัดประเภทวิดีโอแบบ Zero-Shot

  วิธี	#กรอบ	K400	K600	K700
  OpenCLIP-G	1	65.9	66.1	59.2
  EVA-02-คลิป-E+	1	69.8	69.3	63.4
  InternVL-C (ของเรา)	1	71.0	71.3	65.7
  วิคลิป	8	75.7	73.5	66.4
  InternVL-C (ของเรา)	8	79.4	78.8	71.5

การดึงข้อมูลข้ามโมดัล (คลิกเพื่อขยาย)

• การดึงข้อความรูปภาพและข้อความแบบ Zero-Shot ภาษาอังกฤษ [ดูรายละเอียด]

  แบบอย่าง	Flickr30K						โคโค่						เฉลี่ย
  	รูปภาพเป็นข้อความ			ข้อความเป็นรูปภาพ			รูปภาพเป็นข้อความ			ข้อความเป็นรูปภาพ
  	ร@1	อาร์@5	ร@10	ร@1	อาร์@5	ร@10	ร@1	อาร์@5	ร@10	ร@1	อาร์@5	ร@10
  OpenCLIP-G	92.9	99.3	99.8	79.5	95.0	97.1	67.3	86.9	92.6	51.4	74.9	83.0	85.0
  EVA-02-คลิป-E+	93.9	99.4	99.8	78.8	94.2	96.8	68.8	87.8	92.8	51.1	75.0	82.7	85.1
  อีวา-คลิป-8B	95.6	99.6	99.9	80.8	95.5	97.6	70.3	89.3	93.9	53.0	76.0	83.4	86.2
  InternVL-C (ของเรา)	94.7	99.6	99.9	81.7	96.0	98.2	70.6	89.0	93.5	54.1	77.3	84.6	86.6
  InternVL-G (ของเรา)	95.7	99.7	99.9	85.0	97.0	98.6	74.9	91.3	95.2	58.6	81.3	88.0	88.8

• การเรียกค้นข้อความรูปภาพ Zero-Shot ของจีน [ดูรายละเอียด]

  แบบอย่าง	Flickr30K-CN						โคโค่-CN						เฉลี่ย
  	รูปภาพเป็นข้อความ			ข้อความเป็นรูปภาพ			รูปภาพเป็นข้อความ			ข้อความเป็นรูปภาพ
  	ร@1	อาร์@5	ร@10	ร@1	อาร์@5	ร@10	ร@1	อาร์@5	ร@10	ร@1	อาร์@5	ร@10
  CN-คลิป-ViT-H	81.6	97.5	98.8	71.2	91.4	95.5	63.0	86.6	92.9	69.2	89.9	96.1	86.1
  OpenCLIP-XLM-RH	86.1	97.5	99.2	71.0	90.5	94.9	70.0	91.5	97.0	66.1	90.8	96.0	87.6
  InternVL-C (ของเรา)	90.3	98.8	99.7	75.1	92.9	96.4	68.8	92.0	96.7	68.9	91.9	96.5	89.0
  InternVL-G (ของเรา)	92.9	99.4	99.8	77.7	94.8	97.3	71.4	93.9	97.7	73.8	94.4	98.1	90.9

• การดึงข้อความรูปภาพและภาพ Zero-Shot หลายภาษาบน XTD [ดูรายละเอียด]

  วิธี	TH	อีเอส	ศ	จจ	มัน	เคโอ	ร	เจพี	เฉลี่ย
  AltCLIP	95.4	94.1	92.9	95.1	94.2	94.4	91.8	91.7	93.7
  OpenCLIP-XLM-RH	97.3	96.1	94.5	94.7	96.0	90.2	93.9	94.0	94.6
  InternVL-C (ของเรา)	97.3	95.7	95.1	95.6	96.0	92.2	93.3	95.5	95.1
  InternVL-G (ของเรา)	98.6	97.7	96.5	96.7	96.9	95.1	94.8	96.1	96.6

บทสนทนาหลายรูปแบบ

ดูส่วน "เปรียบเทียบกับ SOTA VLLM"

เริ่มต้นอย่างรวดเร็วด้วย HuggingFace

ใช้ InternViT-6B สำหรับการดึงคุณสมบัติภาพ (คลิกเพื่อขยาย)

 นำเข้า torchfrom PIL นำเข้า Imagefrom Transformers นำเข้า AutoModel, CLIPImageProcessormodel = AutoModel.from_pretrained ('OpenGVLab/InternViT-6B-448px-V1-5',torch_dtype=torch.bfloat16,low_cpu_mem_usage=True,trust_remote_code=True).cuda().eval( )ภาพ= Image.open('./examples/image1.jpg').convert('RGB')image_processor = CLIPImageProcessor.from_pretrained('OpenGVLab/InternViT-6B-448px-V1-5')pixel_values ​​= image_processor(images=image, return_tensors ='pt').pixel_valuespixel_values ​​= pixel_values.to(torch.bfloat16).cuda()outputs = model(pixel_values)

ใช้ InternVL-C(ontrastive) และ InternVL-G(enerative) สำหรับการดึงข้อมูลข้ามโมดัล (คลิกเพื่อขยาย)

 นำเข้า torchfrom PIL นำเข้า Imagefrom Transformers นำเข้า AutoModel, CLIPImageProcessorfrom Transformers นำเข้า AutoTokenizermodel = AutoModel.from_pretrained('OpenGVLab/InternVL-14B-224px',torch_dtype=torch.bfloat16,low_cpu_mem_usage=True,trust_remote_code=True).cuda().eval() รูปภาพ_โปรเซสเซอร์ = CLIPImageProcessor.from_pretrained('OpenGVLab/InternVL-14B-224px')tokenizer = AutoTokenizer.from_pretrained('OpenGVLab/InternVL-14B-224px', use_fast=False, add_eos_token=True)tokenizer.pad_token_id = 0 # ตั้งค่า pad_token_id เป็น 0images = [Image.open('./examples/image1.jpg').convert('RGB'),Image.open('./examples/image2.jpg').convert('RGB'),Image.open( './examples/image3.jpg').convert('RGB')
]prefix = 'summarize:'texts = [prefix + 'a photo of a red panda', # Englishprefix + '一张熊猫的foto', # Chineseprefix + '二匹の猫の写真' # Japanese]pixel_values ​​= image_processor( รูปภาพ=รูปภาพ, return_tensors='pt').pixel_valuespixel_values ​​= pixel_values.to(torch.bfloat16).cuda()input_ids = tokenizer (ข้อความ, return_tensors='pt', max_length=80, truncation=True, padding='max_length').input_ids.cuda()# InternVL-Clogits_per_image, logits_per_text = model(image=pixel_values, text=input_ids, mode='InternVL-C')probs = logits_per_image.softmax(dim=-1)# เทนเซอร์ ([[9.9609e-01, 5.2185e-03, 6.0070e-08],# [2.2949e-02, 9.7656e- 01, 5.9903e-06],# [3.2932e-06, 7.4863e-05, 1.0000e+00]], อุปกรณ์='cuda:0',# dtype=torch.bfloat16, grad_fn=)# InternVL-Glogits_per_image, logits_per_text = model(image= pixel_values, ข้อความ=input_ids, mode='InternVL-G')probs = logits_per_image.softmax(dim=-1)# เทนเซอร์ ([[9.9609e-01, 3.1738e-03, 3.6322e-08],# [8.6060e-03, 9.9219e- 01, 2.8759e-06],# [1.7583e-06, 3.1233e-05, 1.0000e+00]], device='cuda:0',# dtype=torch.bfloat16, grad_fn=)# โปรดตั้งค่า add_eos_token เป็น False สำหรับ generationtokenizer.add_eos_token = ภาพเท็จ = Image.open('./examples/image1.jpg').convert('RGB')pixel_values ​​= image_processor(images=image, return_tensors='pt').pixel_valuespixel_values ​​= pixel_values.to(torch.bfloat16).cuda() tokenized = tokenizer ("คำบรรยายภาษาอังกฤษ:", return_tensors='pt')pred = model.generate(pixel_values=pixel_values,input_ids=tokenized.input_ids.cuda(),attention_mask=tokenized.attention_mask.cuda(),num_beams=5,min_new_tokens=8,
)caption = tokenizer.decode(pred[0].cpu(), skik_special_tokens=True).strip()# คำบรรยายภาษาอังกฤษ: แพนด้าแดงนั่งอยู่บนแท่นไม้

ใช้ InternVL-Chat สำหรับการแชทหลายรูปแบบ (คลิกเพื่อขยาย)

ในที่นี้ เราใช้ OpenGVLab/InternVL2-8B ที่เล็กกว่าเป็นตัวอย่าง:

 นำเข้า numpy เป็น npimport torchimport torchvision.transforms เป็น Tfrom decord นำเข้า VideoReader, cpufrom PIL นำเข้า Imagefrom torchvision.transforms.working นำเข้า InterpolationMode จากหม้อแปลง นำเข้า AutoModel, AutoTokenizerIMAGENET_MEAN = (0.485, 0.456, 0.406) IMAGENET_STD = (0.229, 0.224, 0.225)def build_transform(input_size):MEAN, STD = IMAGENET_MEAN, IMAGENET_STDtransform = T.Compose([T.Lambda(lambda img: img.convert('RGB') if img.mode != 'RGB' else img),T .ปรับขนาด((input_size, input_size), การแก้ไข=InterpolationMode.BICUBIC),T.ToTensor(),T.Normalize(mean=MEAN, std=STD)
    ])ส่งคืนการแปลงdef find_closest_aspect_ratio(aspect_ratio, target_ratios, width, height, image_size):best_ratio_diff = float('inf')best_ratio = (1, 1)area = width * heightfor ratio ใน target_ratios:target_aspect_ratio = ratio[0] / ratio[ 1]ratio_diff = เอบีเอส(อัตราส่วนภาพ - target_aspect_ratio)if ratio_diff < best_ratio_diff:best_ratio_diff = ratio_diffbest_ratio = ratioelif ratio_diff == best_ratio_diff:if พื้นที่ > 0.5 * image_size * image_size * ratio[0] * ratio[1]:best_ratio = ratioreturn best_ratiodef dynamic_preprocess(image, min_num=1, max_num= 12, image_size=448, use_thumbnail=False):orig_width, orig_height = image.sizeaspect_ratio = orig_width / orig_height# คำนวณอัตราส่วนภาพที่มีอยู่target_ratios = set(
        (i, j) สำหรับ n อยู่ในช่วง (min_num, max_num + 1) สำหรับ i อยู่ในช่วง (1, n + 1) สำหรับ j อยู่ในช่วง (1, n + 1) ifi * j <= max_num และ i * j >= min_num)target_ratios = sorted(target_ratios, key=lambda x: x[0] * x[1])# ค้นหาอัตราส่วนภาพที่ใกล้เคียงที่สุดกับ targettarget_aspect_ratio = find_closest_aspect_ratio(aspect_ratio, target_ratios, orig_width, orig_height, image_size)# คำนวณความกว้างเป้าหมายและ heighttarget_width = image_size * target_aspect_ratio[0]target_height = image_size * target_aspect_ratio[1]blocks = target_aspect_ratio[0] * target_aspect_ratio[1]# ปรับขนาด imageresize_img = image.resize((target_width, target_height))processed_images = []สำหรับฉันอยู่ในช่วง (บล็อก):box = (
            (i % (target_width // image_size)) * image_size,
            (i // (target_width // image_size)) * image_size,
            ((i % (target_width // image_size)) + 1) * image_size,
            ((i // (target_width // image_size)) + 1) * image_size)# แยก imageplit_img = resize_img.crop(box)processed_images.append(split_img)assert