InternLM
v0.2.1dev20240102
การประยุกต์ใช้เชิงพาณิชย์ | ?กอดใบหน้า | ?อัพเดทข่าว | ?การรายงานปัญหา | รายงานทางเทคนิค
เว็บแชท | ?เอพีไอ | ?โมเดลเลอร์
อังกฤษ | 简体中文
เข้าร่วมกับเราบน Discord และ WeChat
ซีรี่ส์ InternLM2.5 เปิดตัวพร้อมคุณสมบัติดังต่อไปนี้:
ความสามารถในการให้เหตุผลที่โดดเด่น : ประสิทธิภาพการใช้เหตุผลทางคณิตศาสตร์ที่ล้ำสมัย เหนือกว่ารุ่นอย่าง Llama3 และ Gemma2-9B
หน้าต่างบริบท 1M : เกือบจะสมบูรณ์แบบในการค้นหาเข็มในกองหญ้าที่มีบริบทยาว 1M พร้อมประสิทธิภาพชั้นนำในงานที่มีบริบทยาวเช่น LongBench ลองใช้ LMDeploy สำหรับการอนุมานบริบท 1M พบรายละเอียดเพิ่มเติมและการสาธิตไฟล์แชทได้ที่นี่
การใช้เครื่องมือที่แข็งแกร่งยิ่งขึ้น : InternLM2.5 รองรับการรวบรวมข้อมูลจากหน้าเว็บมากกว่า 100 หน้า การใช้งานที่เกี่ยวข้องจะเปิดตัวใน Lagent เร็วๆ นี้ InternLM2.5 มีความสามารถที่เกี่ยวข้องกับการใช้เครื่องมือที่ดีกว่าในการปฏิบัติตามคำสั่ง การเลือกเครื่องมือ และการไตร่ตรอง ดูตัวอย่าง
[2024.08.01] เราเปิดตัว InternLM2.5-1.8B, InternLM2.5-1.8B-Chat, InternLM2.5-20B และ InternLM2.5-20B-Chat ดูสวนสัตว์จำลองด้านล่างสำหรับการดาวน์โหลดหรือการ์ดโมเดลสำหรับรายละเอียดเพิ่มเติม
[2024.07.19] เราเปิดตัวซีรีส์รางวัล InternLM2-Reward ในขนาด 1.8B, 7B และ 20B ดูสวนสัตว์จำลองด้านล่างสำหรับการดาวน์โหลดหรือการ์ดโมเดลสำหรับรายละเอียดเพิ่มเติม
[2024.07.03] เราเปิดตัว InternLM2.5-7B, InternLM2.5-7B-Chat และ InternLM2.5-7B-Chat-1M ดูสวนสัตว์จำลองด้านล่างสำหรับการดาวน์โหลดหรือการ์ดโมเดลสำหรับรายละเอียดเพิ่มเติม
[2024.03.26] เราเผยแพร่รายงานทางเทคนิค InternLM2 ดู arXiv สำหรับรายละเอียด
[2024.01.31] เราเปิดตัว InternLM2-1.8B พร้อมด้วยโมเดลการแชทที่เกี่ยวข้อง พวกเขาให้ตัวเลือกการใช้งานที่ถูกกว่าในขณะที่ยังคงรักษาประสิทธิภาพชั้นนำไว้
[2024.01.23] เราเปิดตัว InternLM2-Math-7B และ InternLM2-Math-20B พร้อมจุดตรวจการฝึกอบรมล่วงหน้าและ SFT เหนือกว่า ChatGPT ด้วยขนาดที่เล็ก ดู InternLM-Math สำหรับรายละเอียดและดาวน์โหลด
[2024.01.17] เราเปิดตัว InternLM2-7B และ InternLM2-20B และโมเดลการแชทที่เกี่ยวข้องซึ่งมีความสามารถที่แข็งแกร่งยิ่งขึ้นในทุกมิติ ดูสวนสัตว์จำลองด้านล่างสำหรับการดาวน์โหลดหรือการ์ดโมเดลสำหรับรายละเอียดเพิ่มเติม
[2023.12.13] จุดตรวจ InternLM-7B-Chat และ InternLM-20B-Chat ได้รับการอัปเดตแล้ว ด้วยกลยุทธ์การปรับแต่งที่ได้รับการปรับปรุง โมเดลการแชทใหม่สามารถสร้างการตอบกลับที่มีคุณภาพสูงขึ้นและมีความหลากหลายทางรูปแบบมากขึ้น
[2023.09.20] InternLM-20B เปิดตัวพร้อมเวอร์ชันพื้นฐานและเวอร์ชันแชท
| แบบอย่าง | หม้อแปลงไฟฟ้า(HF) | โมเดลสโคป(HF) | OpenXLab(HF) | OpenXLab(กำเนิด) | วันที่วางจำหน่าย |
|---|---|---|---|---|---|
| ฝึกงานLM2.5-1.8B | ?ฝึกงานlm2_5-1_8b |  ฝึกงานlm2_5-1_8b | 05-08-2024 | ||
| InternLM2.5-1.8B-แชท | ?internlm2_5-1_8b-แชท | internlm2_5-1_8b-แชท | 05-08-2024 | ||
| ฝึกงานLM2.5-7B | ?internlm2_5-7b | ฝึกงาน2_5-7b | 03-07-2024 | ||
| InternLM2.5-7B-แชท | ?internlm2_5-7b-แชท | internlm2_5-7b-แชท | 03-07-2024 | ||
| ฝึกงานLM2.5-7B-Chat-1M | ?internlm2_5-7b-chat-1m | ฝึกงานlm2_5-7b-chat-1m | 03-07-2024 | ||
| ฝึกงานLM2.5-20B | ?ฝึกงานlm2_5-20b | ฝึกงานlm2_5-20b | 05-08-2024 | ||
| InternLM2.5-20B-แชท | ?internlm2_5-20b-แชท | internlm2_5-20b-แชท | 05-08-2024 |
หมายเหตุ:
การเปิดตัวซีรีส์ InternLM2.5 ประกอบด้วยเวอร์ชัน 1.8B, 7B และ 20B รุ่น 7B มีประสิทธิภาพสำหรับการวิจัยและการใช้งาน ส่วนรุ่น 20B นั้นมีประสิทธิภาพมากกว่าและสามารถรองรับสถานการณ์ที่ซับซ้อนมากขึ้นได้ ความสัมพันธ์ของแบบจำลองเหล่านี้แสดงไว้ดังนี้
ข้อจำกัด: แม้ว่าเราจะพยายามรับรองความปลอดภัยของโมเดลในระหว่างกระบวนการฝึกอบรม และเพื่อสนับสนุนให้โมเดลสร้างข้อความที่สอดคล้องกับข้อกำหนดด้านจริยธรรมและกฎหมาย แต่โมเดลอาจยังคงให้ผลลัพธ์ที่ไม่คาดคิด เนื่องจากขนาดและกระบวนทัศน์การสร้างความน่าจะเป็น ตัวอย่างเช่น คำตอบที่สร้างขึ้นอาจมีอคติ การเลือกปฏิบัติ หรือเนื้อหาที่เป็นอันตรายอื่นๆ กรุณาอย่าเผยแพร่เนื้อหาดังกล่าว เราจะไม่รับผิดชอบต่อผลที่ตามมาใด ๆ ที่เกิดจากการเผยแพร่ข้อมูลที่เป็นอันตราย
ข้อมูลเพิ่มเติม: HF หมายถึงรูปแบบที่ใช้ใน Transformers ในขณะที่ Origin หมายถึงรูปแบบที่ทีม InternLM ใน InternEvo นำมาใช้
InternLM2-Reward คือชุดโมเดลรางวัลที่ได้รับการฝึกอบรมเกี่ยวกับตัวอย่างที่ต้องการ 2.4 ล้านตัวอย่าง ซึ่งมีจำหน่ายในขนาด 1.8B, 7B และ 20B โมเดลเหล่านี้ถูกนำไปใช้กับกระบวนการฝึกอบรม PPO ของโมเดลการแชทของเรา ดูการ์ดโมเดลสำหรับรายละเอียดเพิ่มเติม
| แบบอย่าง | คะแนน RewardBench | หม้อแปลงไฟฟ้า(HF) | โมเดลสโคป(HF) | OpenXLab(HF) | วันที่วางจำหน่าย |
|---|---|---|---|---|---|
| InternLM2-1.8B-รางวัล | 80.6 | ?internlm2-1_8b-รางวัล | รางวัลฝึกงาน 2-1_8b | 19-07-2024 | |
| InternLM2-7B-รางวัล | 86.6 | ?internlm2-7b-รางวัล | รางวัลฝึกงาน 2-7b | 19-07-2024 | |
| InternLM2-20B-รางวัล | 89.5 | ?internlm2-20b-รางวัล | รางวัลฝึกงาน 2-20b | 19-07-2024 |
รุ่นก่อนหน้าของเราที่มีความสามารถขั้นสูงในการประมวลผลบริบทแบบยาว การใช้เหตุผล และการเขียนโค้ด ดูการ์ดโมเดลสำหรับรายละเอียดเพิ่มเติม
| แบบอย่าง | หม้อแปลงไฟฟ้า(HF) | โมเดลสโคป(HF) | OpenXLab(HF) | OpenXLab(กำเนิด) | วันที่วางจำหน่าย |
|---|---|---|---|---|---|
| ฝึกงานLM2-1.8B | ?internlm2-1.8b | ฝึกงานlm2-1.8b | 31-01-2024 | ||
| ฝึกงานLM2-Chat-1.8B-SFT | ?internlm2-chat-1.8b-sft | internlm2-chat-1.8b-sft | 31-01-2024 | ||
| ฝึกงานLM2-Chat-1.8B | ?internlm2-chat-1.8b | internlm2-chat-1.8b | 19-02-2024 | ||
| ฝึกงานLM2-Base-7B | ?internlm2-base-7b | ฝึกงานlm2-base-7b | 17-01-2024 | ||
| ฝึกงานLM2-7B | ?internlm2-7b | ฝึกงาน 2-7b | 17-01-2024 | ||
| ฝึกงานLM2-Chat-7B-SFT | ?internlm2-chat-7b-sft | internlm2-chat-7b-sft | 17-01-2024 | ||
| ฝึกงานLM2-Chat-7B | ?internlm2-chat-7b | internlm2-chat-7b | 17-01-2024 | ||
| ฝึกงานLM2-Base-20B | ?internlm2-base-20b | ฝึกงานlm2-base-20b | 17-01-2024 | ||
| ฝึกงานLM2-20B | ?internlm2-20b | ฝึกงาน 2-20b | 17-01-2024 | ||
| ฝึกงานLM2-Chat-20B-SFT | ?internlm2-chat-20b-sft | internlm2-chat-20b-sft | 17-01-2024 | ||
| ฝึกงานLM2-Chat-20B | ?internlm2-chat-20b | internlm2-chat-20b | 17-01-2024 |
เราได้ประเมิน InternLM2.5 บนเกณฑ์มาตรฐานที่สำคัญหลายประการโดยใช้เครื่องมือประเมินโอเพ่นซอร์ส OpenCompass ผลการประเมินบางส่วนแสดงไว้ในตารางด้านล่าง คุณสามารถเยี่ยมชมกระดานผู้นำ OpenCompass เพื่อดูผลการประเมินเพิ่มเติม
| เกณฑ์มาตรฐาน | ฝึกงานLM2.5-7B | ลามะ3-8B | ยี่-1.5-9B |
|---|---|---|---|
| เอ็มเอ็มแอลยู (5 ช็อต) | 71.6 | 66.4 | 71.6 |
| CMMLU (5 นัด) | 79.1 | 51.0 | 74.1 |
| บีบีเอช (3 นัด) | 70.1 | 59.7 | 71.1 |
| คณิตศาสตร์ (4 ช็อต) | 34.0 | 16.4 | 31.9 |
| GSM8K (4 ช็อต) | 74.8 | 54.3 | 74.5 |
| GPQA (0 ช็อต) | 31.3 | 31.3 | 27.8 |
| เกณฑ์มาตรฐาน | InternLM2.5-7B-แชท | Llama3-8B-คำสั่ง | เจมม่า2-9B-IT | Yi-1.5-9B-แชท | GLM-4-9B-แชท | Qwen2-7B-คำสั่ง |
|---|---|---|---|---|---|---|
| เอ็มเอ็มแอลยู (5 ช็อต) | 72.8 | 68.4 | 70.9 | 71.0 | 71.4 | 70.8 |
| CMMLU (5 นัด) | 78.0 | 53.3 | 60.3 | 74.5 | 74.5 | 80.9 |
| BBH (3-ช็อต CoT) | 71.6 | 54.4 | 68.2* | 69.6 | 69.6 | 65.0 |
| คณิตศาสตร์ (0 ช็อต CoT) | 60.1 | 27.9 | 46.9 | 51.1 | 51.1 | 48.6 |
| GSM8K (0 ช็อต CoT) | 86.0 | 72.9 | 88.9 | 80.1 | 85.3 | 82.9 |
| GPQA (0 ช็อต) | 38.4 | 26.1 | 33.8 | 37.9 | 36.9 | 38.4 |
ppl สำหรับการประเมิน MCQ บนโมเดลพื้นฐานInternLM สนับสนุนโครงการต้นน้ำและปลายน้ำที่มีชื่อเสียงที่หลากหลาย เช่น LLaMA-Factory, vLLM, llama.cpp และอีกมากมาย การสนับสนุนนี้ช่วยให้ผู้ใช้ในวงกว้างสามารถใช้โมเดลซีรีส์ InternLM ได้อย่างมีประสิทธิภาพและสะดวกยิ่งขึ้น มีบทช่วยสอนสำหรับโครงการระบบนิเวศที่เลือกไว้ที่นี่เพื่อความสะดวกของคุณ
ในบทต่อไปนี้ เราจะเน้นการใช้งานกับการสาธิต Transformers, ModelScope และการสาธิตเว็บ โมเดลการแชทใช้รูปแบบ chatml เพื่อรองรับทั้งแอปพลิเคชันแชทและตัวแทน เพื่อให้มั่นใจถึงผลการใช้งานที่ดีขึ้น โปรดตรวจสอบให้แน่ใจว่าเวอร์ชันไลบรารี Transformers ที่ติดตั้งตรงตามข้อกำหนดต่อไปนี้ ก่อนที่จะดำเนินการอนุมานกับ Transformers หรือ ModelScope:
transformers >= 4.38
หากต้องการโหลดโมเดล InternLM2.5-7B-Chat โดยใช้ Transformers ให้ใช้โค้ดต่อไปนี้:
import torch
from transformers import AutoTokenizer , AutoModelForCausalLM
tokenizer = AutoTokenizer . from_pretrained ( "internlm/internlm2_5-7b-chat" , trust_remote_code = True )
# Set `torch_dtype=torch.float16` to load model in float16, otherwise it will be loaded as float32 and might cause OOM Error.
model = AutoModelForCausalLM . from_pretrained ( "internlm/internlm2_5-7b-chat" , device_map = "auto" , trust_remote_code = True , torch_dtype = torch . float16 )
# (Optional) If on low resource devices, you can load model in 4-bit or 8-bit to further save GPU memory via bitsandbytes.
# InternLM 7B in 4bit will cost nearly 8GB GPU memory.
# pip install -U bitsandbytes
# 8-bit: model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="auto", trust_remote_code=True, load_in_8bit=True)
# 4-bit: model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="auto", trust_remote_code=True, load_in_4bit=True)
model = model . eval ()
response , history = model . chat ( tokenizer , "hello" , history = [])
print ( response )
# Output: Hello? How can I help you today?
response , history = model . chat ( tokenizer , "please provide three suggestions about time management" , history = history )
print ( response )หากต้องการโหลดโมเดล InternLM2.5-7B-Chat โดยใช้ ModelScope ให้ใช้โค้ดต่อไปนี้:
import torch
from modelscope import snapshot_download , AutoTokenizer , AutoModelForCausalLM
model_dir = snapshot_download ( 'Shanghai_AI_Laboratory/internlm2_5-7b-chat' )
tokenizer = AutoTokenizer . from_pretrained ( model_dir , device_map = "auto" , trust_remote_code = True )
# Set `torch_dtype=torch.float16` to load model in float16, otherwise it will be loaded as float32 and might cause OOM Error.
model = AutoModelForCausalLM . from_pretrained ( model_dir , device_map = "auto" , trust_remote_code = True , torch_dtype = torch . float16 )
# (Optional) If on low resource devices, you can load model in 4-bit or 8-bit to further save GPU memory via bitsandbytes.
# InternLM 7B in 4bit will cost nearly 8GB GPU memory.
# pip install -U bitsandbytes
# 8-bit: model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="auto", trust_remote_code=True, load_in_8bit=True)
# 4-bit: model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="auto", trust_remote_code=True, load_in_4bit=True)
model = model . eval ()
response , history = model . chat ( tokenizer , "hello" , history = [])
print ( response )
response , history = model . chat ( tokenizer , "please provide three suggestions about time management" , history = history )
print ( response )คุณสามารถโต้ตอบกับโมเดล InternLM Chat 7B ผ่านอินเทอร์เฟซส่วนหน้าได้โดยการรันโค้ดต่อไปนี้:
pip install streamlit
pip install transformers > =4.38
streamlit run ./chat/web_demo.pyเราใช้ LMDeploy เพื่อการปรับใช้ InternLM อย่างรวดเร็ว
ด้วยโค้ดเพียง 4 บรรทัด คุณสามารถทำการอนุมาน internlm2_5-7b-chat หลังจาก pip install lmdeploy
from lmdeploy import pipeline
pipe = pipeline ( "internlm/internlm2_5-7b-chat" )
response = pipe ([ "Hi, pls intro yourself" , "Shanghai is" ])
print ( response )เพื่อลดพื้นที่หน่วยความจำ เราขอเสนอโมเดลเชิงปริมาณ 4 บิต internlm2_5-7b-chat-4bit ซึ่งสามารถดำเนินการอนุมานได้ดังต่อไปนี้:
from lmdeploy import pipeline
pipe = pipeline ( "internlm/internlm2_5-7b-chat-4bit" )
response = pipe ([ "Hi, pls intro yourself" , "Shanghai is" ])
print ( response )นอกจากนี้ คุณยังสามารถเปิดใช้งานคุณสมบัติแคช 8 บิต/4 บิต KV ได้อย่างอิสระ:
from lmdeploy import pipeline , TurbomindEngineConfig
pipe = pipeline ( "internlm/internlm2_5-7b-chat-4bit" ,
backend_config = TurbomindEngineConfig ( quant_policy = 8 ))
response = pipe ([ "Hi, pls intro yourself" , "Shanghai is" ])
print ( response )โปรดดูคำแนะนำสำหรับการใช้งานเพิ่มเติมเกี่ยวกับการปรับใช้โมเดล สำหรับบทแนะนำการใช้งานเพิ่มเติม โปรดสำรวจที่นี่
ด้วยการเปิดใช้งานคุณสมบัติ Dynamic NTK ของ LMDeploy คุณสามารถรับพลังการอนุมานบริบทแบบยาวได้
หมายเหตุ: ความยาวบริบท 1M ต้องใช้ 4xA100-80G
from lmdeploy import pipeline , GenerationConfig , TurbomindEngineConfig
backend_config = TurbomindEngineConfig (
rope_scaling_factor = 2.5 ,
session_len = 1048576 , # 1M context length
max_batch_size = 1 ,
cache_max_entry_count = 0.7 ,
tp = 4 ) # 4xA100-80G.
pipe = pipeline ( 'internlm/internlm2_5-7b-chat-1m' , backend_config = backend_config )
prompt = 'Use a long prompt to replace this sentence'
response = pipe ( prompt )
print ( response )โมเดล InternLM2.5-Chat มีความสามารถในการใช้เครื่องมือที่ยอดเยี่ยม และสามารถทำงานกับการเรียกใช้ฟังก์ชันในลักษณะ Zero-Shot นอกจากนี้ยังรองรับการวิเคราะห์โดยการรวบรวมข้อมูลจากหน้าเว็บมากกว่า 100 หน้า ดูตัวอย่างเพิ่มเติมในส่วนตัวแทน
โปรดดูเอกสารการปรับแต่งอย่างละเอียดสำหรับการปรับแต่งอย่างละเอียดกับ InternLM
หมายเหตุ: เราได้ย้ายฟังก์ชันการฝึกอบรมทั้งหมดในโปรเจ็กต์นี้ไปยัง InternEvo เพื่อประสบการณ์ผู้ใช้ที่ง่ายขึ้น ซึ่งให้การฝึกอบรมล่วงหน้าที่มีประสิทธิภาพและการปรับแต่งอินฟาเรดสำหรับการฝึกอบรม InternLM
เราใช้ OpenCompass ในการประเมินโมเดล ใน InternLM2.5 เรามุ่งเน้นไปที่การประเมินวัตถุประสงค์มาตรฐาน การประเมินบริบทแบบยาว (เข็มในกองหญ้า) การประเมินการปนเปื้อนของข้อมูล การประเมินตัวแทน และการประเมินเชิงอัตนัยเป็นหลัก
หากต้องการประเมินโมเดล InternLM โปรดปฏิบัติตามหลักเกณฑ์ในบทช่วยสอน OpenCompass โดยทั่วไปแล้ว เราใช้ ppl สำหรับคำถามแบบปรนัยในโมเดล Base และ gen สำหรับคำถามทั้งหมดในโมเดล Chat
สำหรับ Needle in a Haystack โปรดดูบทช่วยสอนที่ให้ไว้ในเอกสารประกอบ รู้สึกอิสระที่จะลองใช้
หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับการประเมินการปนเปื้อนของข้อมูล โปรดตรวจสอบการประเมินการปนเปื้อน
เราขอขอบคุณผู้มีส่วนร่วมทุกคนที่พยายามปรับปรุงและยกระดับ InternLM ผู้ใช้ชุมชนได้รับการสนับสนุนอย่างสูงให้เข้าร่วมในโครงการ โปรดดูแนวทางการบริจาคสำหรับคำแนะนำเกี่ยวกับวิธีการมีส่วนร่วมในโครงการ
รหัสนี้ได้รับอนุญาตภายใต้ Apache-2.0 ในขณะที่ตุ้มน้ำหนักแบบจำลองนั้นเปิดโดยสมบูรณ์สำหรับการวิจัยเชิงวิชาการ และยังอนุญาตให้นำไปใช้ในเชิงพาณิชย์ ได้ฟรี อีกด้วย หากต้องการยื่นขอใบอนุญาตเชิงพาณิชย์ โปรดกรอกแบบฟอร์มใบสมัคร (ภาษาอังกฤษ)/申请表（中文） หากมีคำถามหรือความร่วมมืออื่นๆ โปรดติดต่อ [email protected]
@misc{cai2024internlm2,
title={InternLM2 Technical Report},
author={Zheng Cai and Maosong Cao and Haojiong Chen and Kai Chen and Keyu Chen and Xin Chen and Xun Chen and Zehui Chen and Zhi Chen and Pei Chu and Xiaoyi Dong and Haodong Duan and Qi Fan and Zhaoye Fei and Yang Gao and Jiaye Ge and Chenya Gu and Yuzhe Gu and Tao Gui and Aijia Guo and Qipeng Guo and Conghui He and Yingfan Hu and Ting Huang and Tao Jiang and Penglong Jiao and Zhenjiang Jin and Zhikai Lei and Jiaxing Li and Jingwen Li and Linyang Li and Shuaibin Li and Wei Li and Yining Li and Hongwei Liu and Jiangning Liu and Jiawei Hong and Kaiwen Liu and Kuikun Liu and Xiaoran Liu and Chengqi Lv and Haijun Lv and Kai Lv and Li Ma and Runyuan Ma and Zerun Ma and Wenchang Ning and Linke Ouyang and Jiantao Qiu and Yuan Qu and Fukai Shang and Yunfan Shao and Demin Song and Zifan Song and Zhihao Sui and Peng Sun and Yu Sun and Huanze Tang and Bin Wang and Guoteng Wang and Jiaqi Wang and Jiayu Wang and Rui Wang and Yudong Wang and Ziyi Wang and Xingjian Wei and Qizhen Weng and Fan Wu and Yingtong Xiong and Chao Xu and Ruiliang Xu and Hang Yan and Yirong Yan and Xiaogui Yang and Haochen Ye and Huaiyuan Ying and Jia Yu and Jing Yu and Yuhang Zang and Chuyu Zhang and Li Zhang and Pan Zhang and Peng Zhang and Ruijie Zhang and Shuo Zhang and Songyang Zhang and Wenjian Zhang and Wenwei Zhang and Xingcheng Zhang and Xinyue Zhang and Hui Zhao and Qian Zhao and Xiaomeng Zhao and Fengzhe Zhou and Zaida Zhou and Jingming Zhuo and Yicheng Zou and Xipeng Qiu and Yu Qiao and Dahua Lin},
year={2024},
eprint={2403.17297},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
