InternLM
v0.2.1dev20240102
تطبيق تجاري | ?المعانقة الوجه | ?تحديث الأخبار | ?الإبلاغ عن القضايا | التقرير الفني
دردشة ويب | ?واجهة برمجة التطبيقات | ؟ عارضي الأزياء
الإنجليزية | 简体中文
انضم إلينا على Discord وWeChat
تم إصدار سلسلة InterlLM2.5 بالميزات التالية:
القدرة الاستدلالية المتميزة : أداء متطور في الاستدلال الرياضي، متجاوزًا النماذج مثل Llama3 وGemma2-9B.
نافذة سياق 1M : مثالية تقريبًا للعثور على الإبر في كومة القش بسياق يبلغ طوله 1M، مع أداء رائد في المهام ذات السياق الطويل مثل LongBench. جربه باستخدام LMDeploy للاستدلال على سياق 1M. يمكنك العثور على المزيد من التفاصيل والعرض التوضيحي للدردشة الملفية هنا.
استخدام أقوى للأداة : يدعم InternLM2.5 جمع المعلومات من أكثر من 100 صفحة ويب، وسيتم إصدار التنفيذ المقابل في Lagent قريبًا. يتمتع InterlLM2.5 بقدرات أفضل فيما يتعلق باستخدام الأداة في متابعة التعليمات واختيار الأداة والتفكير. انظر الأمثلة.
[2024.08.01] قمنا بإصدار InternLM2.5-1.8B وInternLM2.5-1.8B-Chat وInternLM2.5-20B وInternLM2.5-20B-Chat. انظر نموذج حديقة الحيوان أدناه للتنزيل أو بطاقات النموذج لمزيد من التفاصيل.
[2024.07.19] قمنا بإصدار سلسلة InternLM2-Reward من نماذج المكافآت بأحجام 1.8B و7B و20B. انظر نموذج حديقة الحيوان أدناه للتنزيل أو بطاقات النموذج لمزيد من التفاصيل.
[2024.07.03] قمنا بإصدار InternLM2.5-7B وInternLM2.5-7B-Chat وInternLM2.5-7B-Chat-1M. انظر نموذج حديقة الحيوان أدناه للتنزيل أو بطاقات النموذج لمزيد من التفاصيل.
[2024.03.26] نصدر التقرير الفني لـ InterLM2. راجع أرشيف للحصول على التفاصيل.
[2024.01.31] قمنا بإصدار InternLM2-1.8B، بالإضافة إلى نموذج الدردشة المرتبط به. إنها توفر خيار نشر أرخص مع الحفاظ على الأداء الرائد.
[2024.01.23] قمنا بإصدار InternLM2-Math-7B وInternLM2-Math-20B مع التدريب المسبق ونقاط تفتيش SFT. إنها تتفوق على ChatGPT بأحجام صغيرة. راجع InterLM-Math للحصول على التفاصيل والتنزيل.
[2024.01.17] قمنا بإصدار InternLM2-7B وInternLM2-20B ونماذج الدردشة المقابلة لهما بقدرات أقوى في جميع الأبعاد. انظر نموذج حديقة الحيوان أدناه للتنزيل أو بطاقات النموذج لمزيد من التفاصيل.
[2023.12.13] تم تحديث نقاط التفتيش InterLM-7B-Chat وInternLM-20B-Chat. ومن خلال استراتيجية الضبط المحسنة، يمكن لنماذج الدردشة الجديدة إنشاء استجابات ذات جودة أعلى مع تنوع أسلوبي أكبر.
[2023.09.20] تم إصدار InterLM-20B بإصدارين أساسيين وإصدارين للدردشة.
| نموذج | المحولات (HF) | نطاق النموذج (HF) | أوبن إكس لاب (HF) | أوبن إكس لاب (الأصل) | تاريخ الافراج عنه |
|---|---|---|---|---|---|
| إنترلم 2.5-1.8 ب | ?interlm2_5-1_8b |  interlm2_5-1_8b | 2024-08-05 | ||
| InterLM2.5-1.8B-دردشة | ?internlm2_5-1_8b-chat | interlm2_5-1_8b-chat | 2024-08-05 | ||
| إنترلم2.5-7ب | ?interlm2_5-7b | interlm2_5-7b | 2024-07-03 | ||
| InterLM2.5-7B-دردشة | ?internlm2_5-7b-chat | interlm2_5-7b-chat | 2024-07-03 | ||
| InterLM2.5-7B-Chat-1M | ?internlm2_5-7b-chat-1m | internlm2_5-7b-chat-1m | 2024-07-03 | ||
| إنترLM2.5-20B | ?interlm2_5-20b | interlm2_5-20b | 2024-08-05 | ||
| InterLM2.5-20B-دردشة | ?internlm2_5-20b-chat | interlm2_5-20b-chat | 2024-08-05 |
ملحوظات:
يحتوي إصدار سلسلة InternLM2.5 على إصدارات 1.8B و7B و20B. تتميز نماذج 7B بالكفاءة في البحث والتطبيق، بينما تعد نماذج 20B أكثر قوة ويمكنها دعم سيناريوهات أكثر تعقيدًا. وتظهر العلاقة بين هذه النماذج على النحو التالي.
القيود: على الرغم من أننا بذلنا جهودًا لضمان سلامة النموذج أثناء عملية التدريب وتشجيع النموذج على إنشاء نص يتوافق مع المتطلبات الأخلاقية والقانونية، إلا أن النموذج قد لا يزال ينتج مخرجات غير متوقعة نظرًا لحجمه ونموذج التوليد الاحتمالي. على سبيل المثال، قد تحتوي الاستجابات التي تم إنشاؤها على تحيزات أو تمييز أو أي محتوى ضار آخر. من فضلك لا تنشر مثل هذا المحتوى. نحن لسنا مسؤولين عن أي عواقب ناتجة عن نشر المعلومات الضارة.
المكملات: يشير HF إلى التنسيق الذي يستخدمه HuggingFace في المحولات، بينما يشير Origin إلى التنسيق الذي اعتمده فريق InternLM في InternEvo.
InternLM2-Reward عبارة عن سلسلة من نماذج المكافآت، تم تدريبها على 2.4 مليون عينة مفضلة، وهي متاحة بأحجام 1.8B و7B و20B. تم تطبيق هذا النموذج على عملية تدريب PPO لنماذج الدردشة لدينا. انظر بطاقات النموذج لمزيد من التفاصيل.
| نموذج | نقاط RewardBench | المحولات (HF) | نطاق النموذج (HF) | أوبن إكس لاب (HF) | تاريخ الافراج عنه |
|---|---|---|---|---|---|
| InterLM2-1.8B-مكافأة | 80.6 | ?internlm2-1_8b-مكافأة | interlm2-1_8b-reward | 2024-07-19 | |
| InterLM2-7B-مكافأة | 86.6 | ?interlm2-7b-مكافأة | interlm2-7b-مكافأة | 2024-07-19 | |
| InterLM2-20B-مكافأة | 89.5 | ?internlm2-20b-مكافأة | interlm2-20b-reward | 2024-07-19 |
تتميز نماذج الجيل السابق لدينا بقدرات متقدمة في معالجة السياق الطويل والاستدلال والترميز. انظر بطاقات النموذج لمزيد من التفاصيل.
| نموذج | المحولات (HF) | نطاق النموذج (HF) | أوبن إكس لاب (HF) | أوبن إكس لاب (الأصل) | تاريخ الافراج عنه |
|---|---|---|---|---|---|
| إنترLM2-1.8B | ?interlm2-1.8b | interlm2-1.8b | 2024-01-31 | ||
| InternLM2-Chat-1.8B-SFT | ?internlm2-chat-1.8b-sft | interlm2-chat-1.8b-sft | 2024-01-31 | ||
| InterLM2-Chat-1.8B | ?interlm2-chat-1.8b | interlm2-chat-1.8b | 2024-02-19 | ||
| InterLM2-Base-7B | ؟interlm2-base-7b | interlm2-base-7b | 2024-01-17 | ||
| إنترLM2-7B | ?interlm2-7b | interlm2-7b | 2024-01-17 | ||
| InterLM2-Chat-7B-SFT | ?internlm2-chat-7b-sft | interlm2-chat-7b-sft | 2024-01-17 | ||
| InterLM2-Chat-7B | ?interlm2-chat-7b | interlm2-chat-7b | 2024-01-17 | ||
| InterLM2-Base-20B | ؟interlm2-base-20b | interlm2-base-20b | 2024-01-17 | ||
| إنترLM2-20B | ?interlm2-20b | interlm2-20b | 2024-01-17 | ||
| InternLM2-Chat-20B-SFT | ?internlm2-chat-20b-sft | interlm2-chat-20b-sft | 2024-01-17 | ||
| InterLM2-Chat-20B | ?internlm2-chat-20b | interlm2-chat-20b | 2024-01-17 |
لقد قمنا بتقييم InternLM2.5 بناءً على العديد من المعايير المهمة باستخدام أداة التقييم مفتوحة المصدر OpenCompass. وترد بعض نتائج التقييم في الجدول أدناه. أنتم مدعوون لزيارة لوحة المتصدرين OpenCompass لمزيد من نتائج التقييم.
| المعيار | إنترلم2.5-7ب | اللاما3-8ب | يي-1.5-9ب |
|---|---|---|---|
| MMLU (5 طلقة) | 71.6 | 66.4 | 71.6 |
| CMMLU (5 طلقة) | 79.1 | 51.0 | 74.1 |
| BBH (3 طلقات) | 70.1 | 59.7 | 71.1 |
| الرياضيات (4 طلقات) | 34.0 | 16.4 | 31.9 |
| GSM8K (4 طلقات) | 74.8 | 54.3 | 74.5 |
| GPQA (0 طلقة) | 31.3 | 31.3 | 27.8 |
| المعيار | InterLM2.5-7B-دردشة | Llama3-8B-إرشاد | Gemma2-9B-IT | يي-1.5-9B-دردشة | GLM-4-9B-دردشة | Qwen2-7B-إرشاد |
|---|---|---|---|---|---|---|
| MMLU (5 طلقة) | 72.8 | 68.4 | 70.9 | 71.0 | 71.4 | 70.8 |
| CMMLU (5 طلقة) | 78.0 | 53.3 | 60.3 | 74.5 | 74.5 | 80.9 |
| BBH (3 طلقة CoT) | 71.6 | 54.4 | 68.2* | 69.6 | 69.6 | 65.0 |
| الرياضيات (0-طلقة CoT) | 60.1 | 27.9 | 46.9 | 51.1 | 51.1 | 48.6 |
| GSM8K (0 طلقة CoT) | 86.0 | 72.9 | 88.9 | 80.1 | 85.3 | 82.9 |
| GPQA (0 طلقة) | 38.4 | 26.1 | 33.8 | 37.9 | 36.9 | 38.4 |
ppl لتقييم MCQ على النموذج الأساسي.يدعم InternLM مجموعة متنوعة من المشاريع الأولية والنهائية المعروفة، مثل LLaMA-Factory، وvLLM، وllama.cpp، والمزيد. يمكّن هذا الدعم مجموعة واسعة من المستخدمين من الاستفادة من نماذج سلسلة InternLM بشكل أكثر كفاءة وسهولة. تتوفر هنا برامج تعليمية لمشاريع النظام البيئي المختارة لراحتك.
في الفصول التالية، سنركز على استخدامات Transformers وModelScope وعروض الويب. تعتمد نماذج الدردشة تنسيق chatml لدعم كل من تطبيقات الدردشة والوكيل. لضمان تأثير استخدام أفضل، يرجى التأكد من أن إصدار مكتبة المحولات المثبتة يلبي المتطلبات التالية قبل إجراء الاستدلال باستخدام Transformers أو ModelScope:
transformers >= 4.38
لتحميل نموذج InternLM2.5-7B-Chat باستخدام المحولات، استخدم الكود التالي:
import torch
from transformers import AutoTokenizer , AutoModelForCausalLM
tokenizer = AutoTokenizer . from_pretrained ( "internlm/internlm2_5-7b-chat" , trust_remote_code = True )
# Set `torch_dtype=torch.float16` to load model in float16, otherwise it will be loaded as float32 and might cause OOM Error.
model = AutoModelForCausalLM . from_pretrained ( "internlm/internlm2_5-7b-chat" , device_map = "auto" , trust_remote_code = True , torch_dtype = torch . float16 )
# (Optional) If on low resource devices, you can load model in 4-bit or 8-bit to further save GPU memory via bitsandbytes.
# InternLM 7B in 4bit will cost nearly 8GB GPU memory.
# pip install -U bitsandbytes
# 8-bit: model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="auto", trust_remote_code=True, load_in_8bit=True)
# 4-bit: model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="auto", trust_remote_code=True, load_in_4bit=True)
model = model . eval ()
response , history = model . chat ( tokenizer , "hello" , history = [])
print ( response )
# Output: Hello? How can I help you today?
response , history = model . chat ( tokenizer , "please provide three suggestions about time management" , history = history )
print ( response )لتحميل نموذج InternLM2.5-7B-Chat باستخدام ModelScope، استخدم الكود التالي:
import torch
from modelscope import snapshot_download , AutoTokenizer , AutoModelForCausalLM
model_dir = snapshot_download ( 'Shanghai_AI_Laboratory/internlm2_5-7b-chat' )
tokenizer = AutoTokenizer . from_pretrained ( model_dir , device_map = "auto" , trust_remote_code = True )
# Set `torch_dtype=torch.float16` to load model in float16, otherwise it will be loaded as float32 and might cause OOM Error.
model = AutoModelForCausalLM . from_pretrained ( model_dir , device_map = "auto" , trust_remote_code = True , torch_dtype = torch . float16 )
# (Optional) If on low resource devices, you can load model in 4-bit or 8-bit to further save GPU memory via bitsandbytes.
# InternLM 7B in 4bit will cost nearly 8GB GPU memory.
# pip install -U bitsandbytes
# 8-bit: model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="auto", trust_remote_code=True, load_in_8bit=True)
# 4-bit: model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="auto", trust_remote_code=True, load_in_4bit=True)
model = model . eval ()
response , history = model . chat ( tokenizer , "hello" , history = [])
print ( response )
response , history = model . chat ( tokenizer , "please provide three suggestions about time management" , history = history )
print ( response )يمكنك التفاعل مع نموذج InterLM Chat 7B من خلال واجهة الواجهة الأمامية عن طريق تشغيل الكود التالي:
pip install streamlit
pip install transformers > =4.38
streamlit run ./chat/web_demo.pyنحن نستخدم LMDeploy للنشر السريع لـ InternLM.
باستخدام 4 أسطر فقط من الأكواد، يمكنك إجراء استنتاج interlm2_5-7b-chat بعد pip install lmdeploy .
from lmdeploy import pipeline
pipe = pipeline ( "internlm/internlm2_5-7b-chat" )
response = pipe ([ "Hi, pls intro yourself" , "Shanghai is" ])
print ( response )لتقليل أثر الذاكرة، نقدم نموذجًا كميًا 4 بت internlm2_5-7b-chat-4bit، والذي يمكن من خلاله إجراء الاستدلال على النحو التالي:
from lmdeploy import pipeline
pipe = pipeline ( "internlm/internlm2_5-7b-chat-4bit" )
response = pipe ([ "Hi, pls intro yourself" , "Shanghai is" ])
print ( response )علاوة على ذلك، يمكنك تنشيط ميزة ذاكرة التخزين المؤقت 8 بت/4 بت كيلو فولت بشكل مستقل:
from lmdeploy import pipeline , TurbomindEngineConfig
pipe = pipeline ( "internlm/internlm2_5-7b-chat-4bit" ,
backend_config = TurbomindEngineConfig ( quant_policy = 8 ))
response = pipe ([ "Hi, pls intro yourself" , "Shanghai is" ])
print ( response )يرجى الرجوع إلى الإرشادات لمزيد من الاستخدامات حول نشر النموذج. للحصول على المزيد من دروس النشر، لا تتردد في استكشافها هنا.
من خلال تمكين ميزة Dynamic NTK في LMDeploy، يمكنك الحصول على قوة الاستدلال للسياق الطويل.
ملحوظة: طول السياق 1M يتطلب 4xA100-80G.
from lmdeploy import pipeline , GenerationConfig , TurbomindEngineConfig
backend_config = TurbomindEngineConfig (
rope_scaling_factor = 2.5 ,
session_len = 1048576 , # 1M context length
max_batch_size = 1 ,
cache_max_entry_count = 0.7 ,
tp = 4 ) # 4xA100-80G.
pipe = pipeline ( 'internlm/internlm2_5-7b-chat-1m' , backend_config = backend_config )
prompt = 'Use a long prompt to replace this sentence'
response = pipe ( prompt )
print ( response )تتمتع نماذج InterlLM2.5-Chat بقدرات ممتازة على استخدام الأدوات ويمكنها العمل مع استدعاءات الوظائف بطريقة صفرية. كما أنه يدعم إجراء التحليل من خلال جمع المعلومات من أكثر من 100 صفحة ويب. انظر المزيد من الأمثلة في قسم الوكيل.
يرجى الرجوع إلى مستندات Finetune للضبط الدقيق باستخدام InternLM.
ملاحظة: لقد قمنا بترحيل وظائف التدريب بالكامل في هذا المشروع إلى InternEvo لتسهيل تجربة المستخدم، مما يوفر تدريبًا مسبقًا فعالاً وضبطًا دقيقًا للبنية التحتية لتدريب InternLM.
نحن نستخدم OpenCompass لتقييم النموذج. في InternLM2.5، نركز بشكل أساسي على التقييم الموضوعي القياسي، وتقييم السياق الطويل (إبرة في كومة قش)، وتقييم تلوث البيانات، وتقييم الوكيل، والتقييم الشخصي.
لتقييم نموذج InterLM، يرجى اتباع الإرشادات الموجودة في البرنامج التعليمي OpenCompass. عادةً، نستخدم ppl للأسئلة متعددة الاختيارات في النموذج الأساسي gen لجميع الأسئلة في نموذج الدردشة .
للحصول على تقييم Needle in a Haystack ، راجع البرنامج التعليمي المتوفر في الوثائق. لا تتردد في تجربتها.
لمعرفة المزيد حول تقييم تلوث البيانات، يرجى التحقق من تقييم التلوث.
نحن نقدر جميع المساهمين لجهودهم لتحسين وتعزيز InternLM. يتم تشجيع مستخدمي المجتمع بشدة على المشاركة في المشروع. يرجى الرجوع إلى إرشادات المساهمة للحصول على تعليمات حول كيفية المساهمة في المشروع.
الكود مرخص بموجب Apache-2.0، في حين أن أوزان النماذج مفتوحة بالكامل للبحث الأكاديمي وتسمح أيضًا بالاستخدام التجاري المجاني . لتقديم طلب للحصول على رخصة تجارية، يرجى ملء نموذج الطلب (باللغة الإنجليزية)/申请表(中文). للأسئلة أو التعاون الأخرى، يرجى الاتصال بـ [email protected].
@misc{cai2024internlm2,
title={InternLM2 Technical Report},
author={Zheng Cai and Maosong Cao and Haojiong Chen and Kai Chen and Keyu Chen and Xin Chen and Xun Chen and Zehui Chen and Zhi Chen and Pei Chu and Xiaoyi Dong and Haodong Duan and Qi Fan and Zhaoye Fei and Yang Gao and Jiaye Ge and Chenya Gu and Yuzhe Gu and Tao Gui and Aijia Guo and Qipeng Guo and Conghui He and Yingfan Hu and Ting Huang and Tao Jiang and Penglong Jiao and Zhenjiang Jin and Zhikai Lei and Jiaxing Li and Jingwen Li and Linyang Li and Shuaibin Li and Wei Li and Yining Li and Hongwei Liu and Jiangning Liu and Jiawei Hong and Kaiwen Liu and Kuikun Liu and Xiaoran Liu and Chengqi Lv and Haijun Lv and Kai Lv and Li Ma and Runyuan Ma and Zerun Ma and Wenchang Ning and Linke Ouyang and Jiantao Qiu and Yuan Qu and Fukai Shang and Yunfan Shao and Demin Song and Zifan Song and Zhihao Sui and Peng Sun and Yu Sun and Huanze Tang and Bin Wang and Guoteng Wang and Jiaqi Wang and Jiayu Wang and Rui Wang and Yudong Wang and Ziyi Wang and Xingjian Wei and Qizhen Weng and Fan Wu and Yingtong Xiong and Chao Xu and Ruiliang Xu and Hang Yan and Yirong Yan and Xiaogui Yang and Haochen Ye and Huaiyuan Ying and Jia Yu and Jing Yu and Yuhang Zang and Chuyu Zhang and Li Zhang and Pan Zhang and Peng Zhang and Ruijie Zhang and Shuo Zhang and Songyang Zhang and Wenjian Zhang and Wenwei Zhang and Xingcheng Zhang and Xinyue Zhang and Hui Zhao and Qian Zhao and Xiaomeng Zhao and Fengzhe Zhou and Zaida Zhou and Jingming Zhuo and Yicheng Zou and Xipeng Qiu and Yu Qiao and Dahua Lin},
year={2024},
eprint={2403.17297},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
