หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>โค้ดแหล่งที่มา AI
ดาวน์โหลด

ChatGPT: โอเพ่นซอร์สและอื่น ๆ

จีนตัวย่อ |. อังกฤษ

เส้นทางสู่การนำไปใช้และการก้าวข้ามขีดจำกัดของโมเดล ChatGPT แบบโอเพ่นซอร์ส

นับตั้งแต่การรั่วไหลของตุ้มน้ำหนัก LLaMA โดยไม่ได้ตั้งใจและประสิทธิภาพที่น่าประทับใจของการปรับแต่งคำสั่ง LLaMA ของ Stanford Alpaca โดยใช้ข้อมูลที่สร้างจาก gpt-3 api ในลักษณะการสอนด้วยตนเอง ชุมชนโอเพ่นซอร์สจึงสนใจที่จะตระหนักถึงสิ่งใหญ่ๆ มากขึ้นเรื่อยๆ โมเดลภาษาระดับ ChatGPT มีความหวังมากขึ้นเรื่อยๆ

การซื้อคืนนี้มีไว้เพื่อบันทึกกระบวนการสืบพันธุ์และการอยู่เหนือธรรมชาติ และจัดทำภาพรวมสำหรับชุมชน

รวมถึง: ความก้าวหน้าทางเทคโนโลยีที่เกี่ยวข้อง แบบจำลองพื้นฐาน แบบจำลองโดเมน การฝึกอบรม การใช้เหตุผล เทคโนโลยี ข้อมูล หลายภาษา หลากหลายรูปแบบ ฯลฯ

#สารบัญ
  • โมเดลพื้นฐาน
  • โมเดลโดเมน
  • โมเดลคำสั่งโดเมนทั่วไป
  • การรวมโมเดล
  • ทางเลือกอื่นสำหรับ Transformer
  • หลายกิริยา
  • โมอี
  • ข้อมูล
    • ข้อมูลการฝึกอบรมล่วงหน้า
    • ข้อมูลคำแนะนำ
    • การสร้างข้อมูลสังเคราะห์
  • การประเมิน
    • เกณฑ์มาตรฐาน
    • ลีดเดอร์บอร์ด
  • กรอบงาน/ชุดเครื่องมือ/แพลตฟอร์ม
  • การจัดตำแหน่ง
  • หลายภาษา
    • การขยายคำศัพท์
  • การฝึกอบรม/การปรับแต่งที่มีประสิทธิภาพ
  • การอนุมานต้นทุนต่ำ
    • การหาปริมาณ
    • โครงการ
    • การบีบอัดที่รวดเร็ว
  • พร้อมท์
  • ความปลอดภัย
  • ความจริงใจ
  • เกินหน้าต่างบริบท
  • การแก้ไขความรู้
    • การดำเนินการ
  • ความรู้ภายนอก
    • เครื่องมือค้นหาเอไอ
    • แชทกับเอกสาร
    • การวิเคราะห์เนื้อหา
    • ฐานข้อมูลเวกเตอร์
  • เครื่องมือภายนอก
    • การใช้เครื่องมือที่มีอยู่
    • สร้างเครื่องมือใหม่
  • ตัวแทน
  • LLM ในชื่อ XXX
  • คอลเลกชันที่คล้ายกัน

โมเดลพื้นฐาน

ผู้ร่วมให้ข้อมูล รุ่น/โครงการ ใบอนุญาต ภาษา คุณสมบัติหลัก
เมตา ลามา/ลามา2 หลาย LLaMA-13B มีประสิทธิภาพเหนือกว่า GPT-3(175B) และ LLaMA-65B สามารถแข่งขันกับ PaLM-540M ได้
โมเดลพื้นฐานสำหรับงานติดตามผลส่วนใหญ่
กอดใบหน้า-BigScience บลูม หลาย โมเดลภาษาขนาดใหญ่อัตโนมัติ (LLM) ที่ได้รับการฝึกอบรมโดย HuggingFace BigScience
กอดใบหน้า-BigScience บลูมซ์ หลาย เวอร์ชันปรับแต่งคำสั่งของ BLOOM & mT5 โมเดลภาษาหลายภาษาที่ผ่านการฝึกอบรมมาแล้วบนการผสมผสานงานข้ามภาษา
เอลิวเธอร์เอไอ GPT-เจ ห้องน้ำในตัว โมเดลหม้อแปลงไฟฟ้าที่ผ่านการฝึกอบรมโดยใช้Mesh Transformer JAX ของ Ben Wang
เมตา เลือก ห้องน้ำในตัว เปิดโมเดลภาษา Transformer ที่ได้รับการฝึกอบรมล่วงหน้า จุดมุ่งหมายในการพัฒนาชุดโมเดล OPT นี้คือเพื่อให้สามารถทำซ้ำได้
และการวิจัยอย่างมีความรับผิดชอบในวงกว้าง และเพื่อนำเสนอความคิดเห็นเพิ่มเติมในการศึกษาผลกระทบของ LLM เหล่านี้
ระบบสมอง เซรีบราส-GPT ห้องน้ำในตัว LLM ที่ผ่านการฝึกอบรม, คล้ายกับ GPT-3, มีวางจำหน่ายทั่วไป, ได้รับการฝึกอบรมอย่างมีประสิทธิภาพบนซูเปอร์คอมพิวเตอร์ Andromeda AI
ได้รับการฝึกอบรมตามกฎหมายมาตราส่วน Chinchilla (20 โทเค็นต่อพารามิเตอร์โมเดล) ซึ่งเหมาะสมที่สุดในการประมวลผล
เอลิวเธอร์เอไอ หลาม ห้องน้ำในตัว รวมการวิเคราะห์การตีความและกฎหมายมาตราส่วนเพื่อทำความเข้าใจว่าความรู้พัฒนาอย่างไร
และวิวัฒนาการในระหว่างการฝึกฝนในหม้อแปลงแบบออโตรีเกรสซีฟ
ความเสถียร-AI LM เสถียร ห้องน้ำในตัว โมเดลภาษา AI ความเสถียร
เอฟดียู มอส เอง/zh โมเดลภาษาสนทนาที่เสริมด้วยเครื่องมือโอเพ่นซอร์สจากมหาวิทยาลัย Fudan
สมมาตร&FDU บีบีที-2 จ LM โอเพ่นซอร์ส 12B
@mlfoundations เปิดฟลามิงโก ห้องน้ำในตัว เฟรมเวิร์กโอเพ่นซอร์สสำหรับการฝึกโมเดลหลายรูปแบบขนาดใหญ่
เอลิวเธอร์เอไอ GPT-NeoX-20B ห้องน้ำในตัว สถาปัตยกรรมของมันมีเจตนาให้มีลักษณะคล้ายกับ GPT-3 และเกือบจะเหมือนกับของ GPT-J-6B
ยูซีบี OpenLLaMA อาปาเช่-2.0 ห้องน้ำในตัว การสืบพันธุ์แบบเปิดของ LLaMA
โมเสกเอ็มแอล MPT อาปาเช่-2.0 ห้องน้ำในตัว MPT-7B เป็นโมเดลสไตล์ GPT และเป็นโมเดลแรกในซีรีส์ MosaicML Foundation Series
MPT-7B เป็นโอเพ่นซอร์สที่ผ่านการฝึกอบรมเกี่ยวกับโทเค็น 1T ของชุดข้อมูลที่ดูแลจัดการโดย MosaicML
ใช้ในเชิงพาณิชย์ และเทียบเท่ากับ LLaMa 7B ในการวัดผลการประเมิน
ร่วมกันคอมพิวเตอร์ ชุดนอนสีแดง-INCITE-Base-3B-v1 อาปาเช่-2.0 ห้องน้ำในตัว โมเดลภาษาที่ได้รับการฝึกอบรมพารามิเตอร์ 2.8B ซึ่งได้รับการฝึกอบรมมาแล้วบน RedPajama-Data-1T
พร้อมด้วยเวอร์ชันที่ปรับแต่งคำสั่งและเวอร์ชันแชท
สายฟ้า-AI ลิต-ลามา อาปาเช่-2.0 - การใช้งาน LLaMA แบบอิสระซึ่งเป็นโอเพ่นซอร์สโดยสมบูรณ์ภายใต้ ลิขสิทธิ์ Apache 2.0
@conceptofmind พีแอลเอ็ม ใบอนุญาตเอ็มไอที ห้องน้ำในตัว การใช้งานโอเพ่นซอร์สของโมเดล Google PaLM
ทีไอ ฟอลคอน-7บี ใบอนุญาต TII Falcon LLM ห้องน้ำในตัว โมเดลเฉพาะตัวถอดรหัสเชิงสาเหตุพารามิเตอร์ 7B ที่สร้างโดย TII และฝึกฝนบนโทเค็น 1,500B ของ RefinedWeb ที่ได้รับการปรับปรุงด้วยองค์กรที่ได้รับการดูแลจัดการ
ทีไอ ฟอลคอน-40บี ใบอนุญาต TII Falcon LLM หลาย โมเดลเฉพาะตัวถอดรหัสเชิงสาเหตุพารามิเตอร์ 40B ที่สร้างโดย TII และฝึกฝนบนโทเค็น 1,000B ของ RefinedWeb ที่ปรับปรุงด้วยคลังข้อมูลที่ได้รับการดูแลจัดการ
ไทเกอร์รีเสิร์ช ไทเกอร์บอท อาปาเช่-2.0 เอง/zh LLM หลายภาษาและมัลติทาสก์
บาย อาควิลา/อาควิลา2 BAAI_Aquila_Model_License เอง/zh แบบจำลองภาษา Aquila สืบทอดข้อดีด้านการออกแบบสถาปัตยกรรมของ GPT-3 และ LLaMA โดยแทนที่ชุดข้อมูลพื้นฐานที่มีประสิทธิภาพมากขึ้น
การใช้งานโอเปอเรเตอร์และการออกแบบโทเค็นไนเซอร์ใหม่เพื่อรองรับการรองรับสองภาษาจีน-อังกฤษ
OpenBMB CPM-บี ข้อตกลงใบอนุญาตรุ่นสากล - คำชี้แจงแหล่งที่มา - ข้อจำกัดในการประชาสัมพันธ์ - การอนุญาตเชิงพาณิชย์ เอง/zh CPM-Bee เป็นโมเดลพื้นฐานสองภาษาจีน-อังกฤษแบบโอเพ่นซอร์สที่ใช้งานเชิงพาณิชย์ได้เต็มรูปแบบ โดยสามารถรองรับพารามิเตอร์ได้หมื่นล้านพารามิเตอร์
และได้รับการฝึกอบรมล่วงหน้าเกี่ยวกับคลังข้อมูลโทเค็นขนาดล้านล้านที่กว้างขวาง
ไป๋ชวน ไป๋ชวน-7B อาปาเช่-2.0 เอง/zh ได้รับประสิทธิภาพที่ดีที่สุดในรุ่นที่มีขนาดเท่ากันตามมาตรฐาน
มาตรฐานที่เชื่อถือได้ของจีนและอังกฤษ (C-EVAL, MMLU ฯลฯ)
เทนเซ็นต์ lyraChatGLM ใบอนุญาตเอ็มไอที เอง/zh เท่าที่เราทราบ นี่คือ ChatGLM-6B เวอร์ชันเร่งความเร็วรุ่นแรก
ความเร็วในการอนุมานของ lyraChatGLM ได้รับการเร่งความเร็ว ถึง 300 เท่า เมื่อเทียบกับเวอร์ชันดั้งเดิมรุ่นแรกๆ
เรายังคงทำงานอย่างหนักเพื่อปรับปรุงประสิทธิภาพให้ดียิ่งขึ้น
ฝ่ายขาย เอ็กซ์เจน อาปาเช่-2.0 หลาย Salesforce LLM โอเพ่นซอร์สที่มีความยาวลำดับ 8k
เซี่ยงไฮ้เอไอแล็บ ฝึกงานLM อาปาเช่-2.0 เอง/zh InternLM มีโอเพ่นซอร์สโมเดลพื้นฐาน 7 พันล้านพารามิเตอร์และโมเดลการแชทที่ปรับให้เหมาะกับสถานการณ์จริง โมเดลนี้มีลักษณะดังต่อไปนี้:
มันใช้ประโยชน์จากโทเค็นคุณภาพสูงนับล้านล้านสำหรับการฝึกอบรมเพื่อสร้างฐานความรู้ที่ทรงพลัง
รองรับความยาวหน้าต่างบริบท 8k ช่วยให้ลำดับอินพุตยาวขึ้นและความสามารถในการให้เหตุผลที่แข็งแกร่งยิ่งขึ้น
มีชุดเครื่องมืออเนกประสงค์สำหรับผู้ใช้เพื่อสร้างขั้นตอนการทำงานของตนเองได้อย่างยืดหยุ่น
xverse-ai เอ็กซ์เวิร์ส อาปาเช่-2.0 หลาย LLM หลายภาษาที่พัฒนาโดย XVERSE Technology Inc.
นักเขียน ปาล์มไมรา อาปาเช่-2.0 ห้องน้ำในตัว ทรงพลังอย่างยิ่งในขณะที่ยังทำงานได้อย่างรวดเร็วอีกด้วย
เช่น การจำแนกความรู้สึกและการสรุป
มิสทรัล เอไอ มิสทรัล อาปาเช่-2.0 ห้องน้ำในตัว Mistral 7B เป็นรุ่นพารามิเตอร์ 7.3B ที่:
1. มีประสิทธิภาพเหนือกว่า Llama 2 13B ในการวัดประสิทธิภาพทั้งหมด
2. มีประสิทธิภาพเหนือกว่า Llama 1 34B ในหลายเกณฑ์มาตรฐาน
3. เข้าถึงประสิทธิภาพของ CodeLlama 7B บนโค้ด ในขณะที่ยังคงสามารถทำงานภาษาอังกฤษได้ดี
4. ใช้ Grouped-Query Attention (GQA) เพื่อการอนุมานที่รวดเร็วยิ่งขึ้น
5. ใช้ Slide Window Attention (SWA) เพื่อจัดการกับลำดับที่ยาวขึ้นด้วยต้นทุนที่น้อยลง
สกายเวิร์คเอไอ สกายเวิร์ค - เอง/zh ในการวัดประสิทธิภาพการประเมินที่สำคัญ Skywork-13B อยู่ในแถวหน้าของโมเดลโอเพ่นซอร์สของจีน และเป็นระดับที่เหมาะสมที่สุดภายใต้ขนาดพารามิเตอร์เดียวกัน
สามารถนำมาใช้ในเชิงพาณิชย์ได้โดยไม่ต้องมีแอปพลิเคชัน อีกทั้งยังมีชุดข้อมูลจีนแบบโอเพ่นซอร์ส 600G (150 พันล้านโทเค็น)
01.เอไอ ยี่ - เอง/zh โมเดลซีรีส์ Yi เป็นโมเดลภาษาขนาดใหญ่ที่ได้รับการฝึกอบรมตั้งแต่เริ่มต้นโดยนักพัฒนาที่ 01.AI
ระบบไออีไอที หยวน-2.0 - เอง/zh ในงานนี้ มีการแนะนำ Localized Filtering-based Attention (LFA) เพื่อรวมความรู้เดิมเกี่ยวกับการพึ่งพาท้องถิ่นของภาษาธรรมชาติเข้าไว้ใน Attention
จาก LFA เราพัฒนาและเผยแพร่ Yuan 2.0 ซึ่งเป็นโมเดลภาษาขนาดใหญ่ที่มีพารามิเตอร์ตั้งแต่ 2.1 พันล้านถึง 102.6 พันล้าน วิธีการกรองข้อมูลและการสร้าง
นำเสนอเพื่อสร้างชุดข้อมูลการฝึกอบรมล่วงหน้าและการปรับแต่งอย่างละเอียดในคุณภาพสูง มีการเสนอวิธีการฝึกอบรมแบบกระจายที่มีไปป์ไลน์ที่ไม่สม่ำเสมอ ข้อมูลแบบขนาน และเครื่องมือเพิ่มประสิทธิภาพแบบขนาน
ซึ่งช่วยลดความต้องการแบนด์วิธของการสื่อสารภายในโหนดได้อย่างมาก และบรรลุประสิทธิภาพที่ดีในการฝึกอบรมแบบกระจายขนาดใหญ่
โมเดล Yuan 2.0 แสดงความสามารถที่น่าประทับใจในการสร้างโค้ด การแก้ปัญหาทางคณิตศาสตร์ และการแชท เมื่อเทียบกับรุ่นที่มีอยู่
หนานเบจ หนานเบจ อาปาเช่-2.0 เอง/zh Nanbeige-16B คือโมเดลภาษาพารามิเตอร์จำนวน 16 พันล้านชุดที่พัฒนาโดย Nanbeige LLM Lab โดยจะใช้โทเค็น 2.5T สำหรับการฝึกอบรมล่วงหน้า ข้อมูลการฝึกอบรมประกอบด้วยคลังอินเทอร์เน็ตคุณภาพสูง หนังสือต่างๆ โค้ด และอื่นๆ อีกมากมาย ผลลัพธ์ที่ดีกับชุดข้อมูลการประเมินที่เชื่อถือได้ต่างๆ รุ่นนี้ประกอบด้วย Base, Chat, Base-32k และ Chat-32k
deepseek-ai deepseek-LLM ใบอนุญาตเอ็มไอที เอง/zh โมเดลภาษาขั้นสูงที่ประกอบด้วยพารามิเตอร์ 67 พันล้านพารามิเตอร์ ได้รับการฝึกฝนตั้งแต่เริ่มต้นบนชุดข้อมูลขนาดใหญ่จำนวน 2 ล้านล้านโทเค็นทั้งภาษาอังกฤษและภาษาจีน
แอลแอลเอ็ม360 แอลแอลเอ็ม360 - - การเผยแพร่ LLM แบบโอเพ่นซอร์สส่วนใหญ่จะรวมน้ำหนักของโมเดลและผลการประเมิน อย่างไรก็ตาม มักจำเป็นต้องมีข้อมูลเพิ่มเติมเพื่อทำความเข้าใจพฤติกรรมของโมเดลอย่างแท้จริง และโดยทั่วไปแล้วข้อมูลนี้จะไม่พร้อมใช้งานสำหรับนักวิจัยส่วนใหญ่ ดังนั้นเราจึงมุ่งมั่นที่จะเผยแพร่จุดตรวจสอบระดับกลางทั้งหมด ( มากถึง 360!) ที่รวบรวมระหว่างการฝึก ข้อมูลการฝึกทั้งหมด (และการแมปไปยังจุดตรวจ) ตัวชี้วัดที่รวบรวมทั้งหมด (เช่น การสูญเสีย บรรทัดฐานการไล่ระดับสี ผลการประเมิน) และซอร์สโค้ดทั้งหมดสำหรับข้อมูลก่อนการประมวลผลและการฝึกโมเดลเพิ่มเติมเหล่านี้ สิ่งประดิษฐ์สามารถช่วยได้ นักวิจัยและผู้ปฏิบัติงานควรพิจารณาให้ลึกซึ้งยิ่งขึ้นเกี่ยวกับกระบวนการก่อสร้างของ LLM และดำเนินการวิจัย เช่น การวิเคราะห์ไดนามิกของแบบจำลอง เราหวังว่า LLM360 จะช่วยให้ LLM ขั้นสูงมีความโปร่งใสมากขึ้น ส่งเสริมการวิจัยในห้องปฏิบัติการขนาดเล็ก และปรับปรุงความสามารถในการทำซ้ำในการวิจัย AI
เอฟดียู ฯลฯ ซีที-แอลแอลเอ็ม - zh/th โดยเน้นไปที่ภาษาจีน โดยเริ่มจากศูนย์ CT-LLM ใช้ข้อมูลภาษาจีนจากคลังโทเค็นจำนวน 1,200 พันล้านรายการ ซึ่งรวมถึงโทเค็นภาษาจีน 800 พันล้านรายการ ภาษาอังกฤษ 300 พันล้านรายการ และโทเค็นโค้ด 100 พันล้านรายการ การประมวลผลข้อมูลและ Massive Appropriate Pretraining Chinese Corpus (MAP-CC) และการแนะนำ Chinese Hard Case Benchmark (CHC-Bench) เราสนับสนุนการวิจัยและนวัตกรรมเพิ่มเติม โดยมีเป้าหมาย สำหรับโมเดลภาษาที่ครอบคลุมและปรับเปลี่ยนได้มากขึ้น
ไทเกอร์แล็บ แมป-นีโอ - zh/th โมเดลขนาดใหญ่รุ่นแรกที่เป็นโอเพ่นซอร์สสำหรับกระบวนการทั้งหมด ตั้งแต่การประมวลผลข้อมูลไปจนถึงการฝึกโมเดลและตุ้มน้ำหนักโมเดล
ดาต้าแคมป์ ดีซีแอลเอ็ม - - มอบเครื่องมือและคำแนะนำสำหรับการประมวลผลข้อมูลดิบ โทเค็น การสับเปลี่ยนข้อมูล การฝึกโมเดล และการประเมินประสิทธิภาพ รุ่นพื้นฐาน 7B มีประสิทธิภาพดีเยี่ยม

โมเดลโดเมน

ผู้ร่วมให้ข้อมูล แบบอย่าง โดเมน ภาษา โมเดลพื้นฐาน คุณสมบัติหลัก
ยูทาห์ตะวันตกเฉียงใต้/
UIUC/OSU/HDU		 แชทหมอ ทางการแพทย์ ห้องน้ำในตัว ลามะ อาจเป็นรูปแบบการแชทเฉพาะโดเมนแรกที่ปรับแต่งบน LLaMA
เคมบริดจ์ Visual Med-อัลปาก้า ชีวการแพทย์ ห้องน้ำในตัว ลามา-7บี แบบจำลองรากฐานหลายรูปแบบที่ออกแบบมาโดยเฉพาะสำหรับขอบเขตชีวการแพทย์
ตี เบ็นเทา/ฉัตรจีแอลเอ็ม-เมด ทางการแพทย์ จ LLaMA/ChatGLM ปรับแต่งด้วยชุดข้อมูลความรู้ทางการแพทย์จีนซึ่งสร้างขึ้นโดยใช้ gpt3.5 api
เซี่ยงไฮ้เทค ฯลฯ ดร.GLM ทางการแพทย์ เอง/zh แชทGLM-6B รูปแบบการให้คำปรึกษาทางการแพทย์ของจีนได้รับการปรับแต่งบน ChatGLM-6B
พฤ.แอร์ ไบโอเมดจีพีที-1.6บี ชีวการแพทย์ เอง/zh - แบบจำลองรากฐานโมเลกุลแบบหลายโมดัลที่ผ่านการฝึกอบรมล่วงหน้าพร้อมพารามิเตอร์ 1.6B ที่เชื่อมโยงกราฟโมเลกุล 2 มิติกับข้อความ
@หลิวHC0428 กฎหมายGPT_en ถูกกฎหมาย จ แชทGLM-6B โมเดลทั่วไปในขอบเขตทางกฎหมายของจีน ซึ่งได้รับการฝึกฝนเกี่ยวกับข้อมูลที่สร้างขึ้นผ่านการสอนด้วยตนเองที่เชื่อถือได้
สจธ การแพทย์GPT-zh ทางการแพทย์ จ แชทGLM-6B แบบจำลองทั่วไปในขอบเขตทางการแพทย์จีน ซึ่งเป็นข้อมูลที่หลากหลายที่สร้างขึ้นจากการสอนด้วยตนเอง
สจธ PMC-LLaMA ทางการแพทย์ จ ลามะ ฝึกอบรม LLaMA ต่อไปเกี่ยวกับเอกสารทางการแพทย์
กอดใบหน้า สตาร์โคเดอร์ การสร้างรหัส ห้องน้ำในตัว - โมเดลภาษา (LM) ที่ได้รับการฝึกอบรมเกี่ยวกับซอร์สโค้ดและข้อความภาษาธรรมชาติมีมากกว่าข้อมูลการฝึกอบรม
ภาษาการเขียนโปรแกรมที่แตกต่างกัน 80 ภาษา รวมถึงข้อความที่ดึงมาจากปัญหา GitHub และคอมมิต และจากโน้ตบุ๊ก
@CogStack พลุกพล่าน-LLM ทางการแพทย์ ห้องน้ำในตัว ไม่ชัดเจน โมเดลการสนทนาสำหรับการดูแลสุขภาพที่ได้รับการฝึกอบรมโดยใช้OpenGPT
@pengxiao-song กฎหมายWGPT ถูกกฎหมาย จ LLaMA/ChatGLM ขยายคำศัพท์ด้วยคำศัพท์ทางกฎหมายของจีน คำแนะนำที่ปรับแต่งเกี่ยวกับข้อมูลที่สร้างขึ้นโดยใช้การสอนด้วยตนเอง
ตู้เซียวมาน ซวนหยวน การเงิน จ บลูม-176B โมเดลแชททางการเงินจีนขนาดใหญ่พร้อมพารามิเตอร์นับแสนล้าน
คยูเอชเค หัวถัวGPT ทางการแพทย์ จ ไม่ชัดเจน HuatuoGPT ซึ่งเป็นโมเดลภาษาขนาดใหญ่ (LLM) ที่ได้รับการฝึกอบรมเกี่ยวกับคลังข้อมูลทางการแพทย์ของจีนอันกว้างใหญ่ วัตถุประสงค์ของเรากับ HuatuoGPT คือ
เพื่อสร้าง 'ChatGPT' ที่เป็นมืออาชีพมากขึ้นสำหรับสถานการณ์การให้คำปรึกษาทางการแพทย์
พีเคยู ทนายความ ลามะ ถูกกฎหมาย จ ลามะ ฝึกอบรมล่วงหน้าเกี่ยวกับข้อมูลทางกฎหมายของจีน การปรับคำแนะนำในการสอบกฎหมาย และการให้คำปรึกษาทางกฎหมายคู่ qa
พฤ เล็กซี่ลอว์ ถูกกฎหมาย จ แชทGLM-6B ได้รับการฝึกอบรมเกี่ยวกับการผสมผสานระหว่างข้อมูลทั่วไป (BELLE 1.5M) และข้อมูลทางกฎหมาย
พฤ. ฯลฯ เต๋าลี่ การศึกษา จ ลามะ โมเดลขนาดใหญ่สำหรับการศึกษาภาษาจีนนานาชาติ โดยขยายคำศัพท์เฉพาะบนโมเดลพื้นฐาน
และใช้ชุดข้อมูลที่เป็นกรรมสิทธิ์ของโดเมนสำหรับการปรับแต่งคำสั่งอย่างละเอียด
มหาวิทยาลัยสงขลานครินทร์ แพะ เลขคณิต ห้องน้ำในตัว ลามะ โมเดล LLaMA ที่ได้รับการปรับแต่งอย่างละเอียดซึ่งมีประสิทธิภาพเหนือกว่า GPT-4 อย่างมากในงานทางคณิตศาสตร์หลายประเภท
การปรับแต่งอย่างละเอียดบนชุดข้อมูลที่สร้างขึ้นแบบสังเคราะห์ Goat บรรลุประสิทธิภาพที่ล้ำสมัยในงานย่อยทางคณิตศาสตร์แบบตั้งโต๊ะขนาดใหญ่
จุฬาฯ/นิวยอร์ค FinGPT การเงิน ห้องน้ำในตัว - กรอบงานโอเพ่นซอร์สแบบ end-to-end สำหรับโมเดลภาษาขนาดใหญ่ทางการเงิน (FinLLM)
ไมโครซอฟต์ WizardCoder การสร้างรหัส ห้องน้ำในตัว สตาร์โคเดอร์ ได้รับการฝึกฝนด้วยคำสั่งโค้ดที่พัฒนาแล้ว 78k เหนือกว่า Claude-Plus (+6.8) , Bard (+15.3) และ InstructCodeT5+ (+22.3) บน HumanEval Benchmarks
ยูซีเอเอส ความอุดมสมบูรณ์ การเงิน จ ลามะ ปรับแต่ง LLaMA เกี่ยวกับความรู้ทางการเงินของจีน
พีเคยู แชทลอว์ ถูกกฎหมาย จ ซิย่า/แอนิมา รูปแบบโดเมนทางกฎหมายของจีน
@michael-wzhu แชทเมด ทางการแพทย์ จ ลามะ LLM การแพทย์แผนจีนที่ใช้ LLaMA-7B
สคัต SoulChat สุขภาพจิต จ แชทGLM-6B LLM บทสนทนาภาษาจีนในโดเมนสุขภาพจิต อิงจาก ChatGLM-6B
@shibing624 การแพทย์GPT ทางการแพทย์ จ แชทGLM-6B ฝึกอบรมโมเดล GPT ทางการแพทย์ของคุณเองด้วยขั้นตอนการฝึกอบรม ChatGPT
บีทียู ทรานส์ GPT การขนส่ง จ ลามา-7บี โมเดลการขนส่งของจีน
บาย AquilaCode การสร้างรหัส หลาย อาควิล่า AquilaCode-multi เป็นโมเดลหลายภาษาที่รองรับการสร้างโค้ดที่มีความแม่นยำสูงสำหรับภาษาการเขียนโปรแกรมต่างๆ รวมถึง Python/C++/Java/Javascript/Go เป็นต้น
ได้รับผลลัพธ์ที่น่าประทับใจในการประเมิน HumanEval (Python) ด้วยคะแนน Pass@1, Pass@10 และ Pass@100 ที่ 26/45.7/71.6 ตามลำดับใน HumanEval-X
การประเมินการสร้างโค้ดหลายภาษา มีประสิทธิภาพเหนือกว่าโมเดลโอเพ่นซอร์สอื่นๆ ที่มีพารามิเตอร์คล้ายกันอย่างมาก (ณ วันที่ 19 กรกฎาคม 2023)
ในทางกลับกัน AquilaCode-py เป็นเวอร์ชัน Python ภาษาเดียวของโมเดลที่เน้นไปที่การสร้างโค้ด Python
นอกจากนี้ยังแสดงให้เห็นถึงประสิทธิภาพที่ยอดเยี่ยมในการประเมิน HumanEval ด้วยคะแนน Pass@1, Pass@10 และ Pass@100 ที่ 28.8/50.6/76.9 (ณ วันที่ 19 กรกฎาคม 2023)
เมตา รหัสLLaMA การสร้างรหัส หลาย ลามา-2 ตระกูลโมเดลภาษาขนาดใหญ่สำหรับโค้ดบนพื้นฐานของ Llama 2 ที่ให้ประสิทธิภาพที่ล้ำสมัยท่ามกลางโมเดลแบบเปิด ความสามารถในการเติมเต็ม
รองรับบริบทอินพุตขนาดใหญ่ และคำสั่งแบบ Zero-shot ตามความสามารถในการเขียนโปรแกรม
UNSW ฯลฯ ดาร์วิน วิทยาศาสตร์ธรรมชาติ ห้องน้ำในตัว ลามา-7บี LLM โอเพ่นซอร์สแห่งแรกสำหรับวิทยาศาสตร์ธรรมชาติ โดยเน้นในด้านฟิสิกส์ เคมี และวัสดุศาสตร์
อาลีบาบา อีคอมจีพีที อีคอมเมิร์ซ เอง/zh บลูมซ์ โมเดลภาษาขนาดใหญ่ที่ปรับแต่งตามคำสั่งสำหรับอีคอมเมิร์ซ
TIGER-AI-Lab แมมมอธ คณิตศาสตร์ ห้องน้ำในตัว LLaMA2/โค้ดLLaMA ชุดของโมเดลภาษาขนาดใหญ่แบบโอเพ่นซอร์ส (LLM) ที่ปรับแต่งเป็นพิเศษสำหรับการแก้ปัญหาทางคณิตศาสตร์ทั่วไป โมเดล MAmmoTH ได้รับการฝึกอบรมเกี่ยวกับ MathInstruct
ชุดข้อมูลการปรับแต่งคำสั่งที่ได้รับการดูแลอย่างพิถีพิถันซึ่งมีขนาดเบาแต่สามารถสรุปได้ทั่วไป MathInstruct รวบรวมจากชุดข้อมูลเหตุผลทางคณิตศาสตร์ 13 ชุด
หกรายการได้รับการดูแลจัดการใหม่โดยงานนี้ โดยมุ่งเน้นไปที่การใช้เหตุผลแบบลูกโซ่แห่งความคิด (CoT) และโปรแกรมแห่งความคิด (PoT) แบบผสมผสาน
และรับประกันการครอบคลุมสาขาคณิตศาสตร์ที่หลากหลายอย่างกว้างขวาง
สจธ อาเบล คณิตศาสตร์ ห้องน้ำในตัว ลามา2 เราเสนอ Parental Oversight * ซึ่งเป็น กลยุทธ์พี่เลี้ยงเด็ก สำหรับการปรับแต่งแบบละเอียดภายใต้การดูแล Parental Oversight ไม่ได้จำกัดอยู่เพียงวิธีการประมวลผลข้อมูลเฉพาะใดๆ แต่จะกำหนดปรัชญาการประมวลผลข้อมูลที่ควรเป็นแนวทางในการปรับแต่งแบบละเอียดภายใต้การดูแลในยุคของ Generative AI GAI) .
เอฟดียู DISC-LawLLM ถูกกฎหมาย จ ไป๋ชวน-13B FudanDISC ได้เปิดตัว DISC-LawLLM ซึ่งเป็นระบบกฎหมายอัจฉริยะของจีนที่ขับเคลื่อนด้วยโมเดลภาษาขนาดใหญ่
ระบบสามารถให้บริการด้านกฎหมายที่หลากหลายสำหรับกลุ่มผู้ใช้ที่แตกต่างกัน นอกจากนี้ DISC-Law-Eval ยังถูกสร้างขึ้นเพื่อประเมินโมเดลภาษากฎหมายขนาดใหญ่จากทั้งด้านวัตถุประสงค์และด้านอัตนัย
โมเดลนี้มีข้อได้เปรียบที่ชัดเจนเมื่อเปรียบเทียบกับโมเดลทางกฎหมายขนาดใหญ่ที่มีอยู่
ทีมงานยังจัดทำชุดข้อมูล Supervised fine-tuning (SFT) คุณภาพสูงจำนวน 300,000 รายการ DISC-Law-SFT
มข. ฯลฯ แชทจิตแพทย์ สุขภาพจิต ห้องน้ำในตัว ลามา-7บี ที่เก็บนี้โอเพ่นซอร์สโมเดล LLaMA-7B ที่ปรับแต่งตามคำแนะนำ ซึ่งได้รับการปรับแต่งอย่างละเอียดด้วยข้อมูลคำแนะนำโดเมนการให้คำปรึกษา
ในการสร้างชุดข้อมูลการปรับแต่งคำสั่งขนาด 8K เราได้รวบรวมตัวอย่างบทสนทนาการให้คำปรึกษาในโลกแห่งความเป็นจริง และใช้ GPT-4 เป็นตัวแยกและตัวกรอง
นอกจากนี้ เราได้นำเสนอชุดตัวชี้วัดที่ครอบคลุม ซึ่งปรับแต่งมาโดยเฉพาะสำหรับโดเมน LLM+Counseling โดยผสมผสานเกณฑ์การประเมินการให้คำปรึกษาโดเมน
ตัวชี้วัดเหล่านี้ช่วยให้สามารถประเมินประสิทธิภาพในการสร้างเนื้อหาภาษาที่เกี่ยวข้องกับทักษะการให้คำปรึกษาหลายมิติ
CAS สตาร์วิสเปอร์ ดาราศาสตร์ จ - StarWhisper ซึ่งเป็นแบบจำลองทางดาราศาสตร์ขนาดใหญ่ ช่วยปรับปรุงตรรกะการให้เหตุผลและความสมบูรณ์ของแบบจำลองได้อย่างมาก ผ่านการปรับแต่งคลังข้อมูลทางดาราศาสตร์ฟิสิกส์ที่ผู้เชี่ยวชาญระบุอย่างละเอียด
การฝึกอบรมข้อความยาวเชิงตรรกะและการเพิ่มประสิทธิภาพการตั้งค่าโดยตรง ใน CG-Eval ที่เผยแพร่ร่วมกันโดย Keguei AI Research Institute และ LanguageX AI Lab นั้น ขึ้นสู่อันดับที่สองโดยรวม
ต่ำกว่า GPT-4 เพียงเล็กน้อย และการใช้เหตุผลทางคณิตศาสตร์และความสามารถทางดาราศาสตร์นั้นใกล้หรือเกินกว่า GPT 3.5 Turbo
จือผู่ ฟินจีแอลเอ็ม การเงิน จ แชทGLM โซลูชั่นของ SMP2023-ELMFT (การประเมินเทคโนโลยีการเงินแบบจำลองขนาดใหญ่)
พีเคยู ฯลฯ รหัสเชลล์ การสร้างรหัส เอง/zh - CodeShell เป็นโค้ดโมเดลภาษาขนาดใหญ่ (LLM) ที่พัฒนาร่วมกันโดย Knowledge Computing Lab ที่มหาวิทยาลัยปักกิ่งและทีมงาน AI ของ Sichuan Tianfu Bank มีพารามิเตอร์ 7 พันล้านตัว
ได้รับการฝึกอบรมเกี่ยวกับโทเค็น 500 พันล้าน และมีความยาวหน้าต่างบริบท 8192 บนเกณฑ์มาตรฐานการประเมินโค้ดที่เชื่อถือได้ (HumanEval และ MBPP) CodeShell บรรลุประสิทธิภาพที่ดีที่สุดสำหรับโมเดลในระดับเดียวกัน
เอฟดียู DISC-FinLLM การเงิน จ Baichuan-13B-แชท DISC-FinLLM เป็นรูปแบบภาษาขนาดใหญ่ในสาขาการเงิน โดยเป็นระบบการเงินอัจฉริยะที่มีผู้เชี่ยวชาญหลายราย ซึ่งประกอบด้วยสี่โมดูลสำหรับสถานการณ์ทางการเงินที่แตกต่างกัน ได้แก่ การให้คำปรึกษาทางการเงิน
การวิเคราะห์ข้อความทางการเงิน การคำนวณทางการเงิน การสืบค้นความรู้ทางการเงินและการตอบคำถาม
ดีพซีค รหัส Deepseek การสร้างรหัส เอง/zh - Deepseek Coder ประกอบด้วยชุดโมเดลภาษาโค้ดที่ได้รับการฝึกอบรมทั้งโค้ด 87% และภาษาธรรมชาติ 13% ในภาษาอังกฤษและภาษาจีน โดยแต่ละโมเดลได้รับการฝึกอบรมล่วงหน้าเกี่ยวกับโทเค็น 2T
สำหรับความสามารถในการเขียนโค้ด Deepseek Coder มอบประสิทธิภาพที่ล้ำสมัยในบรรดาโมเดลโค้ดโอเพ่นซอร์สในภาษาการเขียนโปรแกรมหลายภาษาและการวัดประสิทธิภาพที่หลากหลาย
ไมโครซอฟต์ คณิตศาสตร์Octopus คณิตศาสตร์ หลาย ลามา2 งานนี้เป็นผู้บุกเบิกการสำรวจและสร้าง LLM ที่ใช้เหตุผลทางคณิตศาสตร์หลายภาษา (xMR) อันทรงพลัง เพื่อให้บรรลุเป้าหมายนี้ เราจึงได้ดำเนินการดังต่อไปนี้:
1. MGSM8KInstruct ชุดข้อมูลการเรียนการสอนการให้เหตุผลทางคณิตศาสตร์หลายภาษาชุดแรก ครอบคลุมภาษาที่แตกต่างกัน 10 ภาษา จึงช่วยแก้ปัญหาการขาดแคลนข้อมูลการฝึกอบรมในงาน xMR
2. MSVAMP ซึ่งเป็นชุดข้อมูลการทดสอบ xMR นอกโดเมน เพื่อทำการประเมินความสามารถทางคณิตศาสตร์หลายภาษาของแบบจำลองอย่างละเอียดถี่ถ้วนและครอบคลุมยิ่งขึ้น
3. MathOctopus LLM การให้เหตุผลทางคณิตศาสตร์หลายภาษาที่มีประสิทธิภาพของเรา การฝึกอบรมด้วยกลยุทธ์ที่แตกต่างกัน ซึ่งมีประสิทธิภาพเหนือกว่า LLM แบบโอเพ่นซอร์สทั่วไป และมีความเหนือกว่า ChatGPT ในสถานการณ์ที่ถ่ายไม่กี่ครั้ง
ไอเทรค Zh-MT-LLM การเดินเรือ เอง/zh แชทGLM3-6b ข้อมูลการฝึกอบรมใช้ข้อมูลโดเมนทางทะเล Zh-mt-sft ที่จัดระเบียบสำหรับสามส่วนหลัก และ 30w การสนทนาทั่วไป datamoss-003-sft-data โดยเฉพาะ ประกอบด้วย CrimeKgAssitant-1.8w, Zh-law-qa และ Zh-law-court ที่เกี่ยวข้องกับกฎหมายและข้อบังคับเกี่ยวกับการเดินเรือ คำถามและคำตอบ, Zh-edu-qa และ Zh-edu-qb ที่เกี่ยวข้องกับการศึกษาและการฝึกอบรมทางทะเล และ Zh-mt-qa ที่เกี่ยวข้องกับคำถามและคำตอบความรู้เฉพาะทางทางทะเล
@SmartFlowAI อีโมแอลเอ็ม สุขภาพจิต จ - EmoLLM คือชุดโมเดลด้านสุขภาพจิตขนาดใหญ่ที่สามารถรองรับการเชื่อมโยงใน การทำความเข้าใจผู้ใช้ - การสนับสนุนผู้ใช้ - การช่วยเหลือผู้ใช้ ในการให้คำปรึกษาด้านสุขภาพจิต ซึ่งได้รับการปรับแต่งอย่างละเอียดโดยคำสั่ง LLM

โมเดลทางการแพทย์บางส่วน: ที่นี่

llms โดเมนบางส่วน: Awesome-Domain-LLM

โมเดลการรักษา: สุดยอด-การดูแลสุขภาพ-มูลนิธิ-โมเดล

โมเดลคำสั่งโดเมนทั่วไป

ผู้ร่วมให้ข้อมูล รุ่น/โครงการ ภาษา โมเดลพื้นฐาน คุณสมบัติหลัก
สแตนฟอร์ด อัลปาก้า ห้องน้ำในตัว ลามา/อพ ใช้ข้อมูลคำแนะนำ 52K ที่สร้างโดยเทคนิค Self-Instructt เพื่อปรับแต่ง 7B LLaMA
โมเดลผลลัพธ์ Alpaca ทำงานคล้ายกับโมเดล text-davinci-003 ในชุดการประเมินตามคำแนะนำแบบสอนตนเอง
Alpaca เป็นแรงบันดาลใจให้กับโมเดลรุ่นต่อๆ ไปมากมาย
เหลียนเจียเทค เบลล์ เอง/zh BLOOMZ-7B1-mt อาจเป็นโมเดลจีนรุ่นแรกที่ตามหลังอัลปาก้า
พฤ แชทGLM-6B เอง/zh - โมเดลจีนชื่อดัง
ดาต้าบริคส์ ดอลลี่ ห้องน้ำในตัว GPT-J 6B ใช้ข้อมูล Alpaca เพื่อปรับแต่งโมเดลอายุ 2 ปี: GPT-J ซึ่งแสดงคุณภาพสูงอย่างน่าประหลาดใจ
คำสั่งตามพฤติกรรมไม่ใช่ลักษณะของแบบจำลองพื้นฐานที่เป็นพื้นฐาน
@tloen อัลปาก้า-LoRA ห้องน้ำในตัว ลามา-7บี ฝึกฝนได้ภายในไม่กี่ชั่วโมงด้วย RTX 4090 เครื่องเดียว
การสร้างผลลัพธ์ Stanford Alpaca โดยใช้การปรับอันดับต่ำ (LoRA)
และสามารถทำงานบน Raspberry pi ได้
ColossalAI โคอาติ7บี เอง/zh ลามา-7บี โมเดลภาษาขนาดใหญ่ที่พัฒนาโดยโครงการ ColossalChat
เซี่ยงไฮ้เอไอแล็บ LLaMA-อะแดปเตอร์ ห้องน้ำในตัว ลามา-7บี ปรับแต่ง LLaMA อย่างละเอียดเพื่อปฏิบัติตามคำแนะนำภายใน 1 ชั่วโมงและพารามิเตอร์ 1.2M
เอเธอร์คอร์เท็กซ์ ลามะ-X ห้องน้ำในตัว ลามะ การวิจัยทางวิชาการแบบเปิดเกี่ยวกับการปรับปรุง LLaMA ให้เป็น SOTA LLM
ร่วมกันคอมพิวเตอร์ OpenChatKit ห้องน้ำในตัว GPT-NeoX-20B OpenChatKit มอบฐานโอเพ่นซอร์สที่ทรงพลังเพื่อสร้างแชทบอททั้งเฉพาะทางและทั่วไปสำหรับแอปพลิเคชันต่างๆ
ชุดนี้ประกอบด้วยโมเดลภาษาที่ปรับแต่งตามคำแนะนำ โมเดลการดูแล และระบบการดึงข้อมูลที่ขยายได้สำหรับการรวม
การตอบกลับล่าสุดจากที่เก็บแบบกำหนดเอง
nomic-ai GPT4All ห้องน้ำในตัว ลามะ ได้รับการฝึกอบรมเกี่ยวกับชุดข้อมูลผู้ช่วยที่สะอาดจำนวนมหาศาล รวมถึงโค้ด เรื่องราว และบทสนทนา
@ymcui จีน-LLaMA-อัลปาก้า เอง/zh ลามา-7B/13B ขยายคำศัพท์ภาษาจีน ตาม LLaMA ดั้งเดิม และใช้ข้อมูลภาษาจีนสำหรับการฝึกอบรมเบื้องต้นระดับมัธยมศึกษา
ช่วยเพิ่มความเข้าใจด้านความหมายภาษาจีนขั้นพื้นฐาน นอกจากนี้ โครงการยังใช้ข้อมูลคำสั่งภาษาจีนอีกด้วย
สำหรับการปรับแต่งอย่างละเอียดบนพื้นฐานของ LLaMA ภาษาจีน ซึ่งช่วยปรับปรุงความเข้าใจของโมเดลและการดำเนินการตามคำสั่งอย่างมาก
ยูซี เบิร์กลีย์
สแตนฟอร์ด
มช		 วิคูน่า ห้องน้ำในตัว ลามา-13บี สร้างความประทับใจ GPT-4 ด้วยคุณภาพ ChatGPT 90%
ยูซีเอสดี/SYSU ผ้าสักหลาด เอง/zh ลามะ ปรับแต่งด้วย LoRA โดยใช้กล่องโต้ตอบ 100,000 รายการที่สร้างขึ้นโดยให้ ChatGPT สนทนากับตัวเอง
ข้อมูลของ Alpaca ยังใช้เพื่อปรับปรุงประสิทธิภาพอีกด้วย
ยูซี เบิร์กลีย์ โคอาล่า ห้องน้ำในตัว ลามะ แทนที่จะเพิ่ม ปริมาณ สูงสุดด้วยการดึงข้อมูลเว็บให้ได้มากที่สุด ทีมงานมุ่งเน้นไปที่การรวบรวมชุดข้อมูลขนาดเล็ก คุณภาพสูง
@imClumsyPanda langchain-ChatGLM เอง/zh แชทGLM-6B ChatGLM บนพื้นฐานความรู้ท้องถิ่นพร้อม langchain
@yangjianxin1 หิ่งห้อย จ บาน-1b4-zh
บาน-2b6-zh		 การปรับแต่งคำสั่งชุดข้อมูลภาษาจีน, ZeRO และเทนเซอร์ขนาน
ใช้เพื่อลดการใช้หน่วยความจำอย่างมีประสิทธิภาพและปรับปรุงประสิทธิภาพการฝึกอบรม
ไมโครซอฟต์ GPT-4-LLM เอง/zh ลามะ มุ่งหวังที่จะแบ่งปันข้อมูลที่สร้างโดย GPT-4 สำหรับการสร้าง LLM ตามคำแนะนำด้วยการเรียนรู้แบบมีผู้สอนและการเรียนรู้แบบเสริมกำลัง
กอดหน้า สแต็คLLaMA ห้องน้ำในตัว ลามะ ได้รับการฝึกอบรมเกี่ยวกับข้อมูล StackExchange และเป้าหมายหลักคือเพื่อใช้เป็นบทช่วยสอนและคำแนะนำแบบทีละขั้นตอน
วิธีฝึกโมเดลด้วย RLHF และไม่ใช่ประสิทธิภาพของโมเดลเป็นหลัก
เนบูลี แชทLLaMA ห้องน้ำในตัว - ไลบรารีที่ช่วยให้คุณสร้างผู้ช่วยที่มีลักษณะคล้าย ChatGPT ที่เป็นส่วนตัวเป็นพิเศษ โดยใช้ข้อมูลของคุณเองและคำนวณน้อยที่สุด
@juncongmoo แชทLLaMA ห้องน้ำในตัว ลามะ โมเดล RLHF ที่ใช้ LLaMA ทำงานได้ใน GPU ตัวเดียว
@juncongmoo minichatgpt ห้องน้ำในตัว GPT/เลือก... ฝึก ChatGPT ใน 5 นาทีด้วย ColossalAI
@LC1332 Luotuo-จีน-LLM จ LLaMA/ChatGLM สอนโมเดลภาษาจีนที่ปรับแต่งอย่างละเอียด พร้อม colab ที่จัดให้!
@ฟาซิโก้ จีน-วิคูน่า จ ลามะ โมเดลที่ใช้ LLaMA ตามคำสั่งภาษาจีน ได้รับการปรับแต่งอย่างละเอียดด้วย Lora รองรับการอนุมาน cpp และมี colab ให้
@yanqiangmiffy สอน GLM เอง/zh แชทGLM-6B โมเดลตามคำสั่ง ChatGLM ได้รับการปรับแต่งจากแหล่งข้อมูลที่หลากหลาย รองรับการเร่งความเร็วแบบ Deepspeed และ LoRA
อาลีบาบา วอมแบต ห้องน้ำในตัว ลามะ มีการเสนอกระบวนทัศน์การเรียนรู้ใหม่ที่เรียกว่า RRHF ซึ่งเป็นทางเลือกหนึ่งของ RLHF ซึ่งให้คะแนนการตอบสนองที่สร้างโดย
นโยบายการสุ่มตัวอย่างที่แตกต่างกันและเรียนรู้ที่จะปรับให้สอดคล้องกับความชอบของมนุษย์ผ่านการสูญเสียอันดับและประสิทธิภาพ
เทียบได้กับ RLHF โดยมีโมเดลน้อยกว่าที่ใช้ในกระบวนการ
@WuJunde อัลปาก้า-กลาสออฟ ห้องน้ำในตัว ลามะ Chat AI ที่ยอมรับรูปภาพขนาดเล็กสามารถทำงานได้บนแล็ปท็อปของคุณเอง โดยอิงจาก Stanford-alpaca และ alpaca-lora
@JosephusCheung กวานาโก หลาย ลามา-7บี โมเดลภาษาตามคำสั่งหลายภาษา
@เสรีภาพสติปัญญา สวนสัตว์ LLM หลาย บลูมซ/ลามา โครงการที่ให้ข้อมูล แบบจำลอง และเกณฑ์มาตรฐานการประเมินผลสำหรับแบบจำลองภาษาขนาดใหญ่
รุ่นที่ออก : Phoenix, Chimera
สซู ลินลี่ เอง/zh ลามะ ขยายคำศัพท์ภาษาจีน , โมเดลที่ได้รับการปรับแต่งอย่างเต็มรูปแบบ, โมเดลภาษาจีนที่ใช้ LLaMA ที่ใหญ่ที่สุด, การรวบรวมข้อมูลการเรียนการสอนภาษาจีน, รายละเอียดที่สามารถทำซ้ำได้
@lamini-ai ลามินี หลาย - เครื่องกำเนิดข้อมูลสำหรับสร้างคำสั่งเพื่อฝึก LLM ตามคำสั่ง
ความเสถียร-AI วิคูน่า ห้องน้ำในตัว ลามะ คำแนะนำเพิ่มเติมที่ได้รับการปรับแต่งและเวอร์ชันฝึกอบรม RLHF ของ Vicuna v0 13b พร้อมประสิทธิภาพที่ดีกว่า Vicuna
กอดหน้า กอดChat ห้องน้ำในตัว ลามะ ดูเหมือนว่าจะเป็นแพลตฟอร์มแรกที่สามารถเข้าถึงได้เป็นแพลตฟอร์มที่ดูคล้ายกับ ChatGPT
ไมโครซอฟต์ ตัวช่วยสร้างLM ห้องน้ำในตัว ลามะ ผ่านการฝึกอบรมด้วยคำสั่งที่พัฒนาแล้วกว่า 70,000 คำสั่ง Evol-Instruct เป็นวิธีการใหม่ที่ใช้ LLM แทนการใช้มนุษย์ในการผลิตจำนวนมากโดยอัตโนมัติ
คำแนะนำแบบโดเมนเปิดสำหรับระดับความยากและช่วงทักษะต่างๆ เพื่อปรับปรุงประสิทธิภาพของ LLM
เอฟดียู เปิดภาษาจีนLLaMA เอง/zh ลามา-7บี ฝึกอบรม LLaMA เกี่ยวกับข้อมูลภาษาจีนล่วงหน้าเพิ่มเติม ปรับปรุงประสิทธิภาพของ LLaMA ในงานภาษาจีน
@chenfeng357 เปิด-จีน-ChatLLaMA เอง/zh ลามะ รหัสการฝึกอบรมที่สมบูรณ์ของโมเดลโอเพ่นซอร์สจีน-ลามะ รวมถึงกระบวนการทั้งหมดจากการสอนก่อนการฝึกอบรมและ RLHF
@FSoft-AI4Code รหัสคาปิบารา ห้องน้ำในตัว ลามะ โมเดล LLaMA แบบโอเพ่นซอร์สที่ปฏิบัติตามคำแนะนำ-การปรับแต่งสำหรับการสร้างโค้ด
@mbzuai-nlp ลามินิ-LM ห้องน้ำในตัว ลามา/Flan-T5... ฝูงแบบจำลองกลั่นที่หลากหลายจากคำสั่งขนาดใหญ่
นทียู แพนด้า เอง/zh ลามะ การฝึกอบรมล่วงหน้าเพิ่มเติมเกี่ยวกับข้อมูลจีน โมเดล LLaMA ขนาดเต็ม
ไอบีเอ็ม/มช./เอ็มไอที หนอก ห้องน้ำในตัว ลามา-65บี การจัดตำแหน่งโมเดลภาษาด้วยตนเองที่ขับเคลื่อนด้วยหลักการตั้งแต่เริ่มต้นโดยมีการควบคุมดูแลโดยมนุษย์น้อยที่สุด
@melodysdreamj WizardVicunaLM หลาย วิคูน่า ชุดข้อมูลของ Wizard + ส่วนขยายการสนทนาของ ChatGPT + วิธีการปรับแต่งของ Vicuna
ได้รับการปรับปรุงประสิทธิภาพมากกว่า Vicuna ประมาณ 7%
ระบบ sambanova BLOOMChat หลาย บลูม BLOOMChat เป็นโมเดลแชทหลายภาษาที่มีพารามิเตอร์ถึง 176 พันล้านพารามิเตอร์ โดยเป็นคำสั่งที่ปรับจาก BLOOM (176B)
ชุดข้อมูลการสนทนาแบบผู้ช่วยและรองรับการสนทนา การตอบคำถาม และคำตอบเชิงสร้างสรรค์ในหลายภาษา
ทีไอ Falcon-7B-คำสั่ง ห้องน้ำในตัว ฟอลคอน-7บี โมเดลเฉพาะตัวถอดรหัสเชิงสาเหตุพารามิเตอร์ 7B ที่สร้างโดย TII ที่ใช้ Falcon-7B และได้รับการปรับแต่งบนชุดข้อมูลแชท/คำสั่งผสม
ทีไอ Falcon-40B-คำสั่ง หลาย ฟอลคอน-40บี โมเดลเฉพาะตัวถอดรหัสเชิงสาเหตุพารามิเตอร์ 40B ที่สร้างโดย TII ที่ใช้ Falcon-40B และปรับแต่งโดยใช้ส่วนผสมของ Baize
USTC ฯลฯ ผู้เชี่ยวชาญLLaMA ห้องน้ำในตัว ลามะ ใช้การเรียนรู้ในบริบทเพื่อเขียนข้อมูลระบุตัวตนของผู้เชี่ยวชาญที่กำหนดเองโดยอัตโนมัติ และพบว่าคุณภาพค่อนข้างน่าพอใจ
จากนั้นเราจะเพิ่มข้อมูลเฉพาะตัวของผู้เชี่ยวชาญที่เกี่ยวข้องให้กับแต่ละคำสั่งเพื่อสร้างข้อมูลตามคำสั่งเสริม
เราเรียกกรอบงานโดยรวมว่า ExpertPrompting ค้นหารายละเอียดเพิ่มเติมในรายงานของเรา
จจู ซีเอ็มเอ เอง/zh ลามะ ได้รับการฝึกอบรมเพิ่มเติมเกี่ยวกับคลังข้อมูลภาษาจีนโดยไม่มีการขยายคำศัพท์ ปรับให้เหมาะกับงานการแยกข้อมูล (IE)
มีสคริปต์การฝึกอบรมล่วงหน้า ซึ่งรวมถึงการแปลง การสร้าง และการโหลดคลังข้อมูลขนาดใหญ่ รวมถึงสคริปต์การปรับแต่งคำสั่ง LoRA อย่างละเอียด
พฤ อัลตร้าแชท ห้องน้ำในตัว ลามะ ประการแรก ชุดข้อมูล UltraChat มอบทรัพยากรที่หลากหลายสำหรับการฝึกอบรมแชทบอท ประการที่สอง โดยการปรับแต่งโมเดล LLaMA อย่างละเอียด
นักวิจัยประสบความสำเร็จในการสร้างโมเดลบทสนทนา UltraLLaMA ที่มีประสิทธิภาพเหนือกว่า
อาร์ยูซี YuLan-แชท เอง/zh ลามะ พัฒนาขึ้นจาก LLaMA ที่ปรับแต่งอย่างละเอียดพร้อมคำแนะนำภาษาอังกฤษและจีนคุณภาพสูง
เอไอ2 ตูลู ห้องน้ำในตัว LLaMA/ไพเธีย/OPT ชุดโมเดล LLaMa ที่ได้รับการปรับแต่งอย่างสมบูรณ์บนชุดข้อมูลที่หลากหลาย
เคสท์ เซลฟี ห้องน้ำในตัว ลามะ LLM การแก้ไขตนเองแบบวนซ้ำเสริมพลังโดยการสร้างคำติชมด้วยตนเอง
@lyogavin แอนิมา เอง/zh ลามะ ฝึกโดยใช้กัวนาโค 33B ของ QLoRA ซึ่งได้รับการปรับแต่งอย่างละเอียด 10,000 ก้าว
พฤ แชทGLM2-6B เอง/zh - ChatGLM 2 -6B เป็นเวอร์ชันที่สองของ ChatGLM-6B รูปแบบการแชทสองภาษาโอเพ่นซอร์ส (จีน-อังกฤษ)
โดยยังคงรักษาขั้นตอนการสนทนาที่ราบรื่นและเกณฑ์การปรับใช้ที่ต่ำของรุ่นแรก ขณะเดียวกันก็แนะนำคุณสมบัติใหม่ดังต่อไปนี้:
- ประสิทธิภาพที่แข็งแกร่งยิ่งขึ้น
- บริบทที่ยาวขึ้น
- การอนุมานที่มีประสิทธิภาพมากขึ้น - ใบอนุญาตแบบเปิดมากขึ้น
โอเพนแชท โอเพนแชท ห้องน้ำในตัว ลามา ฯลฯ ชุดโมเดลภาษาโอเพ่นซอร์สที่ได้รับการปรับแต่งบนชุดข้อมูลการสนทนาหลายรอบขนาดเล็ก แต่หลากหลายและมีคุณภาพสูง
โดยเฉพาะอย่างยิ่ง เราใช้การสนทนาประมาณ 6K GPT-4 เท่านั้นที่กรองโดยตรงจากการสนทนา ShareGPT ประมาณ 90,000 รายการ
แม้ว่าชุดข้อมูลจะมีขนาดเล็ก แต่ OpenLLM ก็ได้แสดงให้เห็นถึงประสิทธิภาพที่โดดเด่น
CAS เบย์หลิง หลาย ลามะ BayLing เป็น LLM ภาษาอังกฤษ/จีนที่มีการจัดตำแหน่งภาษาขั้นสูง
แสดงให้เห็นความสามารถที่เหนือกว่าในรุ่นภาษาอังกฤษ/จีน การปฏิบัติตามคำสั่ง และการโต้ตอบแบบหลายรอบ
ความมั่นคงai ฟรีวิลลี่/ฟรีวิลลี่2 ห้องน้ำในตัว ลามา/ลามา2 FreeWilly เป็นโมเดล Llama65B ที่ได้รับการปรับแต่งบนชุดข้อมูลสไตล์ Orca
FreeWilly2 เป็นโมเดล Llama2 70B ที่ได้รับการปรับแต่งบนชุดข้อมูลสไตล์ Orca
FreeWilly2 มีประสิทธิภาพเหนือกว่า Llama2 70B บนกระดานผู้นำ Open LLM ที่กอดกัน
อาลีบาบา คิวเวน-7B เอง/zh - เวอร์ชันพารามิเตอร์ 7B ของซีรีส์ภาษาขนาดใหญ่ Qwen (ชื่อย่อ Tongyi Qianwen) เสนอโดย Alibaba Cloud
จจู ความรู้LM เอง/zh ลามะ ด้วยการพัฒนาอย่างรวดเร็วของเทคโนโลยีการเรียนรู้เชิงลึก โมเดลภาษาขนาดใหญ่ เช่น ChatGPT ได้สร้างความก้าวหน้าอย่างมากในขอบเขตของการประมวลผลภาษาธรรมชาติ
อย่างไรก็ตาม โมเดลที่กว้างขวางเหล่านี้ยังคงเผชิญกับความท้าทายหลายประการในการได้รับและทำความเข้าใจความรู้ รวมถึงความยากลำบากในการอัปเดตความรู้และความรู้ที่เป็นไปได้
ความคลาดเคลื่อนและอคติ เรียกรวมกันว่า การเข้าใจผิดของความรู้
โครงการ KnowLM พยายามที่จะแก้ไขปัญหาเหล่านี้โดยการเปิดตัวเฟรมเวิร์กโมเดลภาษาที่มีความรู้ขนาดใหญ่แบบโอเพ่นซอร์ส และปล่อยโมเดลที่เกี่ยวข้อง
ใหม่ เทคจีพีที เอง/zh ลามะ TechGPT เน้นย้ำงานสามประเภทต่อไปนี้เป็นหลัก:
- งานดึงข้อมูลต่างๆ เช่น การแยกสามความสัมพันธ์โดยมี "การสร้างกราฟความรู้" เป็นแกนหลัก
- งานถามตอบอันชาญฉลาดต่างๆ มีศูนย์กลางอยู่ที่ "การอ่านเพื่อความเข้าใจ"
- งานการสร้างลำดับต่างๆ เช่น การสร้างคีย์เวิร์ดโดยมี "การทำความเข้าใจข้อความ" เป็นแกนหลัก
@มิวแล็บ ไต้หวัน-LLaMa เอง/zh ลามา2 LLM จีนดั้งเดิมสำหรับไต้หวัน
ซวิน-LM ซวิน-LM ห้องน้ำในตัว ลามา2 Xwin-LM มีเป้าหมายที่จะพัฒนาและเทคโนโลยีการจัดตำแหน่งโอเพ่นซอร์สสำหรับโมเดลภาษาขนาดใหญ่ รวมถึงการปรับแต่งแบบละเอียดภายใต้การดูแล (SFT)
แบบจำลองการให้รางวัล (RM) การปฏิเสธการสุ่มตัวอย่าง การเรียนรู้แบบเสริมแรงจากผลตอบรับของมนุษย์ (RLHF) ฯลฯ การเปิดตัวครั้งแรกของเรา ซึ่งสร้างขึ้นบน
โมเดลพื้นฐานของ Llama2 ซึ่งติดอันดับ TOP-1 ใน AlpacaEval โดยเฉพาะอย่างยิ่ง เป็น รุ่นแรกที่แซงหน้า GPT-4 ในเกณฑ์มาตรฐานนี้
wenge-การวิจัย เย้ เอง/zh ลามา/ลามา2 YaYi ได้รับการปรับแต่งข้อมูลโดเมนคุณภาพสูงที่สร้างขึ้นอย่างปลอมๆ หลายล้านรายการ ข้อมูลการฝึกอบรมนี้ครอบคลุมโดเมนหลัก 5 โดเมน:
การประชาสัมพันธ์สื่อ การวิเคราะห์ความคิดเห็นของประชาชน ความปลอดภัยสาธารณะ การควบคุมความเสี่ยงทางการเงิน และการปกครองเมือง ครอบคลุมงานการสอนภาษาธรรมชาติมากกว่าร้อยงาน
กอดใบหน้า เซเฟอร์ ห้องน้ำในตัว มิสทรัล Zephyr คือชุดโมเดลภาษาที่ได้รับการฝึกอบรมให้ทำหน้าที่เป็นผู้ช่วยที่เป็นประโยชน์ Zephyr-7B-α เป็นรุ่นแรกในซีรีส์ และเป็นเวอร์ชันที่ได้รับการปรับแต่งอย่างละเอียด
missralai/Mistral-7B-v0.1 ที่ได้รับการฝึกอบรมเกี่ยวกับชุดข้อมูลสังเคราะห์ที่เปิดเผยต่อสาธารณะโดยใช้ Direct Preference Optimization (DPO)
เชื่อมโยงกัน คอมมานด์-R / คอมมานด์ R+ หลาย - Command-R มีความสามารถในการสร้างหลายภาษาที่ได้รับการประเมินใน 10 ภาษา และความสามารถ RAG ที่มีประสิทธิภาพสูง
XAI กร็อก ห้องน้ำในตัว - 314B MoE ความยาวบริบท: 8192
อิฐข้อมูล dbrx-instruct - - สถาปัตยกรรมแบบผสมของผู้เชี่ยวชาญ (MoE) ที่ละเอียด พร้อมพารามิเตอร์ทั้งหมด 132B ซึ่งพารามิเตอร์ 36B ทำงานบนอินพุตใดๆ ซึ่งได้รับการฝึกอบรมล่วงหน้าเกี่ยวกับโทเค็น 12T ของข้อความและข้อมูลโค้ด เมื่อเปรียบเทียบกับโมเดล MoE แบบเปิดอื่นๆ เช่น Mixtral- 8x7B และ Grok-1, DBRX มีความละเอียดรอบคอบ ซึ่งหมายความว่าจะใช้ผู้เชี่ยวชาญที่มีขนาดเล็กจำนวนมากขึ้น DBRX มีผู้เชี่ยวชาญ 16 คนและเลือก 4 คน ในขณะที่ Mixtral-8x7B และ Grok-1 มีผู้เชี่ยวชาญ 8 คน และเลือก 2 คน

การรวมโมเดล

ผู้ร่วมให้ข้อมูล รุ่น/วิธีการ คุณสมบัติหลัก คุณสมบัติหลัก
ฟิวส์เอไอ ฟิวส์แชท ประการแรก ดำเนินการผสมผสานความรู้แบบคู่สำหรับ LLM ต้นทางเพื่อให้ได้ LLM เป้าหมายหลายรายการที่มีโครงสร้างและขนาดเหมือนกันผ่านการปรับแต่งแบบน้ำหนักเบา จากนั้น LLM เป้าหมายเหล่านี้จะถูกรวมเข้าด้วยกันภายในพื้นที่พารามิเตอร์ โดยที่เราเสนอวิธีการใหม่ VaRM สำหรับการกำหนดน้ำหนักที่ผสานกัน ขึ้นอยู่กับอัตราส่วนความแปรผันของเมทริกซ์พารามิเตอร์ก่อนและหลังการปรับแบบละเอียด การรวมกันของ LLM แชทที่โดดเด่นสามรายการที่มีสถาปัตยกรรมและขนาดที่หลากหลาย ได้แก่ NH2-Mixtral-8x7B, NH2-Solar-10.7B และ OpenChat-3.5-7B บรรลุประสิทธิภาพโดยเฉลี่ยที่ 8.22 บน MT-Bench ซึ่งมีประสิทธิภาพเหนือกว่า LLM แชทที่ทรงพลังมากมายในระดับ 7B และ 34B เช่น Starling-7B และ yi-34b-chat แม้จะเกิน GPT-3.5 (มีนาคม), Claude-2.1 และเข้าใกล้ Mixtral-8x7b-Instruct
Arcee-AI รวมชุด เครื่องมือสำหรับการรวมโมเดลภาษาขนาดใหญ่ที่ผ่านการฝึกฝนมาก่อน
ชาวซากานา การหลบหลีก การเพิ่มประสิทธิภาพเชิงวิวัฒนาการของสูตรการรวมแบบจำลอง

ทางเลือกสำหรับหม้อแปลง

(อาจจะเป็นผู้สืบทอด?)

ผู้ร่วมให้ข้อมูล วิธี คุณสมบัติหลัก
กระพริบตา RWKV-LM RWKV เป็น RNN ที่มีประสิทธิภาพ LLM ระดับหม้อแปลง
ดังนั้นจึงเป็นการรวม RNN และ Transformer ที่ดีที่สุด - ประสิทธิภาพที่ยอดเยี่ยมการอนุมานอย่างรวดเร็วประหยัด VRAM การฝึกอบรมที่รวดเร็ว "Infinite" CTX_LEN และการฝังประโยคฟรี
MSRA retnet การฝึกฝนการฝึกฝนการอนุมานต้นทุนต่ำและประสิทธิภาพที่ดีพร้อมกัน
จากนั้นเราเสนอกลไกการเก็บรักษาสำหรับการสร้างแบบจำลองลำดับซึ่งรองรับกระบวนทัศน์การคำนวณสามแบบคือคู่ขนานการเกิดซ้ำและการเกิดซ้ำ
โดยเฉพาะ การ เป็นตัวแทนแบบขนานช่วยให้การฝึกอบรมแบบ ขนาน
เวลาแฝงและหน่วยความจำ GPU โดยไม่ต้องเสียสละประสิทธิภาพ
ในกรณีที่แต่ละก้อนถูกเข้ารหัสแบบขนานในขณะที่สรุปผลการทดลองในการสร้างแบบจำลองภาษาแสดงให้เห็นว่า RetNet ได้รับผลการปรับขนาดที่น่าพอใจ
การฝึกอบรมแบบขนานการปรับใช้ราคาต่ำและการอนุมานที่มีประสิทธิภาพ
สแตนฟอร์ด bapcpack Abackpack เป็นการทดแทนแบบดรอปอินสำหรับหม้อแปลงที่ให้เครื่องมือใหม่สำหรับ การตีความการตีความผ่านการควบคุม ในขณะที่ยังคงเปิดใช้งานโมเดลภาษาที่แข็งแกร่ง
กระเป๋าเป้สะพายหลังสลายตัวความหมายเชิงทำนายของคำเป็นส่วนประกอบที่ไม่สอดคล้องกันและรวมพวกเขาด้วยผลรวมถ่วงน้ำหนักช่วยให้การแทรกแซงที่แม่นยำและคาดเดาได้
สแตนฟอร์ด ฯลฯ Monarch Mixer (M2) แนวคิดพื้นฐานคือการแทนที่องค์ประกอบที่สำคัญของหม้อแปลงด้วยเมทริกซ์ราชา-ซึ่งเป็นคลาสของเมทริกซ์ที่มีโครงสร้างที่สรุป FFT และเป็นช่วงย่อย
ประสิทธิภาพของฮาร์ดแวร์และการแสดงออก
CMU ฯลฯ แมมบ้า MAMBA เป็นสถาปัตยกรรมรูปแบบพื้นที่ของรัฐใหม่ที่แสดงประสิทธิภาพที่มีแนวโน้มเกี่ยวกับข้อมูลที่หนาแน่นเช่นการสร้างแบบจำลองภาษาที่รุ่น subquadratic ก่อนหน้านี้ขาดหม้อแปลง และการใช้งานด้วยจิตวิญญาณของการตั้งค่า Flashattention
คอมพิวเตอร์ร่วมกัน ลายเส้น Stripedhyena เป็น แบบจำลองทางเลือกแรกที่แข่งขันกับหม้อแปลงโอเพนซอร์ซที่ดีที่สุด ที่มีขนาดใกล้เคียงกันในการประเมินระยะสั้นและยาวนาน
Stripedhyena เป็นสถาปัตยกรรมไฮบริดที่ประกอบด้วยความสนใจแบบหลายหัวแบบมีการจัดกลุ่มและการโน้มน้าวที่มีรั้วรอบขอบชิดจัดบล็อก Inhyena ซึ่งแตกต่างจากหม้อแปลงแบบถอดรหัสแบบดั้งเดิมเท่านั้น
1. การถอดรหัสหน่วยความจำของผู้คิดค่าใช้จ่ายในบล็อกหมาในการเป็นตัวแทนของ convolutions เป็นแบบจำลองพื้นที่ของรัฐ (รูปแบบโมดอลหรือแบบบัญญัติ) หรือเป็นตัวกรองที่ถูกตัดทอน
2. เวลาแฝงต่ำการถอดรหัสที่เร็วขึ้นและปริมาณงานที่สูงกว่าหม้อแปลง
3. การปรับปรุงกฎหมายการฝึกอบรมและการอนุมานที่ดีที่สุดเมื่อเทียบกับสถาปัตยกรรมหม้อแปลงที่ได้รับการปรับปรุงเช่น LLAMA-2
4. ได้รับการฝึกฝนเกี่ยวกับลำดับสูงสุด 32K ทำให้สามารถดำเนินการแจ้งเตือนได้นานขึ้น
ไมโครซอฟต์ BGPT BGPT รองรับการสร้างแบบจำลองการกำเนิดผ่านการทำนายไบต์ถัดไปเกี่ยวกับข้อมูลทุกประเภทและสามารถดำเนินการงานใด ๆ ที่สามารถใช้งานได้บนคอมพิวเตอร์แสดงความสามารถในการจำลองกิจกรรมทั้งหมดภายในโลกดิจิตอลโดยมีศักยภาพ จำกัด เพียงทรัพยากรการคำนวณและจินตนาการของเรา
ใจลึก กริฟฟิน การใช้งาน JAX + FLAX ของ TheGriffin: การผสมการเกิดซ้ำเชิงเส้นที่มีรั้วรอบขอบชิดกับความสนใจในท้องถิ่นสำหรับแบบจำลองภาษาที่มีประสิทธิภาพไม่ใช่รหัสอย่างเป็นทางการ (รหัสอย่างเป็นทางการยังไม่เผยแพร่);
เลเยอร์ RG-LRU ซึ่งเป็นเลเยอร์กำเริบเชิงเส้นที่มีรั้วรอบขอบชิดใหม่ซึ่งเราออกแบบบล็อกกำเริบใหม่เพื่อแทนที่ MQA โมเดลไฮบริดที่ผสม MLPs กับส่วนผสมของบล็อกกำเริบและความสนใจในท้องถิ่น
กริฟฟิน -3b มีประสิทธิภาพเหนือกว่า Mamba-3b และกริฟฟิน-7b และกริฟฟิน-14b บรรลุประสิทธิภาพการแข่งขันกับ Llama-2 แม้จะได้รับการฝึกฝนในโทเค็นน้อยกว่า 7 เท่า
AI21 จัมบะ Jamba เป็นการใช้งาน Mamba ในระดับการผลิตครั้งแรก โทเค็นสูงถึง 140K ใน GPU 80GB เดียว
เมตา เมกาโลดอน Megalodon สืบทอดสถาปัตยกรรมของ MEGA (ค่าเฉลี่ยเคลื่อนที่แบบเอ็กซ์โปเนนเชียลด้วยความสนใจที่มีรั้วรอบขอบชิด) และแนะนำองค์ประกอบทางเทคนิคหลายอย่างเพื่อปรับปรุงความสามารถและความเสถียรรวมถึงค่าเฉลี่ยเคลื่อนที่แบบเอ็กซ์โปเนนเชียลที่ซับซ้อน (CEMA), ชั้นปกติ -การกำหนดค่าที่เหลืออยู่

โม

ผู้ร่วมให้ข้อมูล รุ่น/โครงการ คุณสมบัติหลัก
การตีสองหน้า Mixtral-8x7b แบบจำลองภาษาขนาดใหญ่ Mixtral-8x7b (LLM) เป็นส่วนผสมที่กระจัดกระจายกำเนิดของผู้เชี่ยวชาญ
ห้องแล็บเซี่ยงไฮ้ ฯลฯ ลามะ-โฮ โมเดล MOE ขนาดเล็กและราคาไม่แพงที่ใช้ Llama และ Slimpajama
Nus ฯลฯ OpenMoe ครอบครัวของแบบจำลองภาษาขนาดใหญ่ (MOE) แบบเปิดโล่ง (MOE)
เกล็ดหิมะ อาร์กติก Arctic ใช้สถาปัตยกรรมหม้อแปลงไฮบริดหนาแน่นที่ไม่ซ้ำกัน

หลายรูปแบบ

ผู้ร่วมให้ข้อมูล โครงการ ภาษา รุ่นฐาน คุณสมบัติหลัก
Baihaiaien idpchat en/zh ลามา-13บี
การแพร่กระจายที่เสถียร		 เปิดโมเดลหลายโมเดลจีน GPU เดียวที่ทำงานได้ง่ายต่อการปรับใช้ UI ให้บริการ
Kaust มินิ GPT-4 en/zh ลามะ MINIGPT-4 จัดรูปแบบตัวเข้ารหัสภาพแช่แข็งจาก BLIP-2 กับ LLM แช่แข็ง Vicuna โดยใช้เพียงชั้นฉายเพียงชั้นเดียว
และให้ความสามารถด้านวิสัยทัศน์ที่เกิดขึ้นใหม่จำนวนมากคล้ายกับที่แสดงใน GPT-4
MSR ฯลฯ Llava ห้องน้ำในตัว ลามะ มีการเสนอการปรับแต่งการสอนด้วยภาพเพื่อสร้างแบบจำลองภาษาและวิสัยทัศน์ขนาดใหญ่ที่มีความสามารถระดับ GPT-4
NUS/Thu VPGTrans ห้องน้ำในตัว llama/opt/
Flan-T5/Blip-2
-		 การถ่ายโอน VPG ข้าม LLMS เพื่อสร้าง VL-LLMs ในราคาที่ต่ำกว่าอย่างมาก
สามารถลดลงได้มากกว่า 10 ครั้งและข้อมูลการฝึกอบรมสามารถลดลงเหลือประมาณ 10%
VL-LLM สองนวนิยายสองนวนิยายได้รับการปล่อยตัวผ่าน VPGTrans รวมถึง VL-llama และ VL-vicuna
VL-llama เป็น LLAMA เวอร์ชันหลายรูปแบบโดยการถ่ายโอน BLIP-2 OPT-6.7B ไปยัง LLAMA ผ่าน VPGTrans
VL-vicuna เป็น chatbot หลายรูปแบบ GPT-4 ที่มีลักษณะคล้ายกับ Vicuna LLM
Cas ฯลฯ x-llm en/zh chatglm-6b X-LLM แปลง multi-modalities (รูปภาพ, คำพูด, วิดีโอ) เป็นภาษาต่างประเทศโดยใช้อินเทอร์เฟซ X2L และป้อนเข้าสู่
รูปแบบภาษาขนาดใหญ่ (chatglm) เพื่อให้บรรลุ LLM แบบหลายรูปแบบเพื่อให้ได้ความสามารถในการแชทหลายรูปแบบที่น่าประทับใจ
NTU นาก ห้องน้ำในตัว OpenFlamingo โมเดลหลายรูปแบบที่ใช้ OpenFlamingo (Flamingo ของ DeepMind เวอร์ชันที่เปิดกว้าง)
ได้รับการฝึกฝนเกี่ยวกับการเลียนแบบ-มันและแสดงความสามารถในการติดตามการเรียนการสอนที่ดีขึ้นและการเรียนรู้ในบริบท
futhermore เพิ่มประสิทธิภาพการใช้งานของ OpenFlamingo โดยการทำให้เป็นประชาธิปไตยตามความจำเป็น
ทรัพยากรการฝึกอบรมจาก 1x A100 GPU ถึง 4X RTX-3090 GPU
XMU Lavin ห้องน้ำในตัว ลามะ เสนอวิธีแก้ปัญหาที่แปลกใหม่และราคาไม่แพงสำหรับการปรับแต่งการสอนภาษาวิสัยทัศน์คือการปรับแบบผสมผสานของโมเดล (MMA)
โดยเฉพาะอย่างยิ่ง MMA เป็นระบอบการเพิ่มประสิทธิภาพแบบ end-to-end ซึ่งเชื่อมต่อตัวเข้ารหัสภาพและ LLM ผ่านอะแดปเตอร์ที่มีน้ำหนักเบา
ในขณะเดียวกันเรายังเสนออัลกอริทึมการกำหนดเส้นทางใหม่ใน MMA ซึ่งสามารถช่วยให้โมเดลเปลี่ยนเส้นทางการใช้เหตุผลโดยอัตโนมัติ
สำหรับคำแนะนำเดียวและหลายโหมด
USTC นกหัวขวาน - - งานแรกเพื่อแก้ไขภาพหลอนในรูปแบบภาษาขนาดใหญ่หลายรูปแบบ
hpcaitech โอเพ่น - - ทางเลือกโอเพ่นซอร์สสำหรับ Openai Sora

ดูเพิ่มเติมที่: โมเดลภาษาที่ยอดเยี่ยม-multimodal

ข้อมูล

ข้อมูล pretrain

ผู้ร่วมให้ข้อมูล ข้อมูล/โครงการ ภาษา คุณสมบัติหลัก
คอมพิวเตอร์ร่วมกัน Redpajama-data ห้องน้ำในตัว สูตรโอเพนซอร์สเพื่อทำซ้ำชุดข้อมูลการฝึกอบรม Llama
@ช่างทอง วิกิพีเดีย หลาย เสื้อคลุม Pythonic สำหรับ Wikipedia API

ข้อมูลคำสั่ง

ดูการรวบรวมข้อมูล Alpaca-COT

ผู้ร่วมให้ข้อมูล ข้อมูล ภาษา คุณสมบัติหลัก
พนักงานขาย บทสนทนา ห้องน้ำในตัว DialogStudio: ไปสู่ชุดข้อมูลชุดข้อมูลแบบครบวงจรที่ร่ำรวยที่สุดและหลากหลายที่สุดและแบบจำลองการเรียนการสอนสำหรับ AI การสนทนา

การสร้างข้อมูลสังเคราะห์

ผู้ร่วมให้ข้อมูล วิธี คุณสมบัติหลัก
UW ฯลฯ ผู้ประกอบการด้วยตนเอง การใช้รุ่นของตัวเองเพื่อสร้างชุดข้อมูลการเรียนการสอนจำนวนมาก
@liuhc0428 การสอนที่เชื่อถือได้ ใช้ CHATGPT เพื่อสร้างคำถามและคำตอบบางอย่างตามข้อความที่กำหนด
PKU ผู้มีความสามารถในการพัฒนา วิธีการใหม่ที่เสนอ Inwizardlm โดยใช้ LLM แทนมนุษย์เพื่อผลิตโดเมนโดยอัตโนมัติ
คำแนะนำเกี่ยวกับระดับความยากและทักษะที่หลากหลายเพื่อปรับปรุงประสิทธิภาพของ LLM
Kaust ฯลฯ อูฐ มีการเสนอกรอบตัวแทนสื่อสารใหม่ที่มีชื่อว่า การสวมบทบาท ซึ่งเกี่ยวข้องกับการใช้ Incept
สู่การทำงานให้เสร็จในขณะที่รักษาความสอดคล้องกับความตั้งใจของมนุษย์
การเล่นบทบาท สามารถใช้ในการสร้างข้อมูลการสนทนาในงาน/โดเมนเฉพาะ
@chatarena Chatarena ห้องสมุดที่ให้บริการเกมภาษาหลายตัวแทนและอำนวยความสะดวกในการวิจัยเกี่ยวกับตัวแทน LLM อิสระและการปฏิสัมพันธ์ทางสังคมของพวกเขา
มันมีกรอบความยืดหยุ่นในการกำหนดผู้เล่นหลายคนสภาพแวดล้อมและการโต้ตอบระหว่างพวกเขาขึ้นอยู่กับกระบวนการตัดสินใจของมาร์คอฟ

การประเมิน

ผู้ร่วมให้ข้อมูล วิธี คุณสมบัติหลัก
- การประเมินของมนุษย์ -
OpenAI gpt-4/chatgpt -
PKU/CMU/MSRA ... พินัลม์ การประเมินรูปแบบภาษาที่ทำซ้ำและอัตโนมัติ
UCB Chatbot Arena แชทกับสองรุ่นที่ไม่ระบุชื่อแบบเคียงข้างกันและลงคะแนนว่าอันไหนดีกว่า
จากนั้นใช้ระบบการจัดอันดับ ELO เพื่อคำนวณประสิทธิภาพสัมพัทธ์ของโมเดล
สแตนฟอร์ด อัลปา ชุดข้อมูลการประเมินผล GPT-4/Claude Onalpacafarm
Clueaii supercluelyb Ofchatbot Arena รุ่นจีนพัฒนาโดย Clueai
sjtu ฯลฯ Auto-J ผู้พิพากษารุ่นใหม่โอเพนซอร์ซที่สามารถประเมิน LLM ที่แตกต่างกันได้อย่างมีประสิทธิภาพเกี่ยวกับวิธีที่พวกเขาสอดคล้องกับความชอบของมนุษย์
CMU Codebertscore ตัวชี้วัดอัตโนมัติสำหรับการสร้างรหัสขึ้นอยู่กับ BertScore
ในฐานะที่เป็น BertScore, CodebertsCore ใช้ประโยชน์จากการฝังบริบทที่ผ่านการฝึกอบรมมาก่อนจากแบบจำลองเช่น Codebert และจับคู่คำในประโยคผู้สมัครและการอ้างอิงโดยความคล้ายคลึงกันของโคไซน์
แตกต่างจาก BertScore, CodebertsCore ยังเข้ารหัสอินพุตภาษาธรรมชาติหรือบริบทอื่น ๆ พร้อมกับรหัสที่สร้างขึ้น แต่ไม่ได้ใช้บริบทนั้นเพื่อคำนวณความคล้ายคลึงกันของโคไซน์

เกณฑ์มาตรฐาน

สถานะปัจจุบันของการประเมินแบบจำลองขนาดใหญ่ในประเทศ

ผู้ร่วมให้ข้อมูล เกณฑ์มาตรฐาน คุณสมบัติหลัก
พรินซ์ตัน ม้านั่ง มาตรฐาน สำหรับการประเมินรูปแบบภาษาขนาดใหญ่ใน ปัญหา ซอฟต์แวร์ในโลกแห่งความเป็นจริงที่รวบรวมจาก GitHub
รูปแบบภาษาได้รับมอบหมายให้สร้าง แพตช์ ที่แก้ไขปัญหาที่อธิบายไว้
ไมโครซอฟต์ เอจีวัล เกณฑ์มาตรฐานของมนุษย์เป็นศูนย์กลางที่ออกแบบมาโดยเฉพาะเพื่อประเมินความสามารถทั่วไปของแบบจำลองพื้นฐานในงานที่เกี่ยวข้องกับความรู้ความเข้าใจของมนุษย์และการแก้ปัญหา
Clueaii อพยพ เกณฑ์มาตรฐานการประเมินผลของตัวแทนขึ้นอยู่กับงานดั้งเดิมของจีน
การบดขยี้ gpt-fathom GPT-Fathom เป็นชุดประเมิน LLM แบบโอเพ่นซอร์สและทำซ้ำได้โดยการเปรียบเทียบการเปรียบเทียบ 10+ โอเพ่นซอร์สชั้นนำและ LLMS ที่เป็นแหล่งปิดรวมถึงรุ่นก่อนหน้าของ OpenAI ในการวัดมาตรฐาน 20+ ที่ได้รับการดูแลภายใต้การตั้งค่าที่สอดคล้องกัน

ลีดเดอร์บอร์ด

OpenCompass, HuggingFace

เฟรมเวิร์ก/เครื่องมือ/แพลตฟอร์ม

ผู้ร่วมให้ข้อมูล โครงการ คุณสมบัติหลัก
CAS Alpaca-cot ขยายข้อมูล COT ไปยัง Alpaca เพื่อเพิ่มความสามารถในการใช้เหตุผล
มีจุดมุ่งหมายในการสร้างแพลตฟอร์มการเรียนการสอน Finetuning (IFT) พร้อมคอลเลกชันการเรียนการสอนที่กว้างขวาง (โดยเฉพาะชุดข้อมูล COT)
และอินเทอร์เฟซแบบครบวงจรสำหรับแบบจำลองภาษาขนาดใหญ่ต่างๆ
@hiyouga chatglm-efficient-tuning Chatglm-6b ที่มีประสิทธิภาพปรับแต่งด้วย Peft
@hiyouga การปรับแต่งลาม่า การปรับแต่ง Llama กับ Peft (PT+SFT+RLHF กับ Qlora)
@Jianzhnie การปรับจูนที่มีประสิทธิภาพ Finetuning ที่มีประสิทธิภาพของ Qlora LLMS
ColossalAI ยักษ์ใหญ่ โซลูชันต้นทุนต่ำโอเพนซอร์ซสำหรับ CloningChatgpt พร้อมท่อส่ง RLHF ที่สมบูรณ์
ไมโครซอฟต์ deepspeed-chat การฝึกอบรม RLHF ที่ง่ายรวดเร็วและราคาไม่แพงของรุ่น Chatgpt ที่มีลักษณะเหมือนกันในทุกเครื่องชั่ง
Laion-AI ผู้ช่วยเปิด โครงการหมายถึงการให้ทุกคนสามารถเข้าถึงโมเดลภาษาขนาดใหญ่ที่ใช้แชทได้อย่างยอดเยี่ยม
Hkust lmflow กล่องเครื่องมือที่ขยายได้สะดวกและมีประสิทธิภาพสำหรับการเรียนรู้แบบจำลองการเรียนรู้ของเครื่องจักรขนาดใหญ่
ออกแบบมาให้ใช้งานง่ายรวดเร็วและเชื่อถือได้และ ACC
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด