โมเดลขนาดใหญ่ StableCode เป็นเครื่องมือที่ใช้โดยเฉพาะในการพัฒนาและใช้อัลกอริธึมและแอปพลิเคชันปัญญาประดิษฐ์ โดยสามารถทำงานบนเฟรมเวิร์กการเรียนรู้เชิงลึกหลายเฟรม และเหมาะสำหรับงานต่างๆ เช่น การจำแนกรูปภาพ การตรวจจับเป้าหมาย และการแบ่งส่วนความหมาย
Stability AI เป็นที่รู้จักกันดีที่สุดสำหรับโมเดลรูปภาพที่สร้างข้อความ Stable Diffusion แต่นั่นไม่ได้เป็นเพียงประเด็นเดียวเท่านั้น เนื่องจากขณะนี้บริษัทกำลังแยกสาขาออกเป็นการสร้างโค้ดเช่นกัน วันนี้ Stability AI เปิดตัว StableCode โมเดลภาษาขนาดใหญ่แบบเปิด (LLM) ใหม่ ซึ่งได้รับการออกแบบมาเพื่อช่วยให้ผู้ใช้สร้างโค้ดภาษาการเขียนโปรแกรมและอิงตามโครงข่ายประสาทเทียมของหม้อแปลง
StableCode จะนำเสนอสามระดับที่แตกต่างกัน ได้แก่ โมเดลพื้นฐานสำหรับการใช้งานทั่วไป โมเดลคำสั่ง และโมเดลหน้าต่างบริบทแบบยาวที่สามารถรองรับโทเค็นได้มากถึง 16,000 โทเค็น
โมเดล StableCode ได้รับประโยชน์จากชุดข้อมูลภาษาการเขียนโปรแกรมเริ่มต้นของโครงการ BigCode แบบโอเพ่นซอร์ส และยังผ่านการกรองและปรับแต่งเพิ่มเติมโดย Stability AI ในขั้นต้นจะรองรับการพัฒนาในภาษาการเขียนโปรแกรม เช่น Python, Go, Java , JavaScript, C, มาร์กดาวน์ และ C++
การฝึกอบรม LLM ต้องใช้ข้อมูล และข้อมูลสำหรับ StableCode มาจากโปรเจ็กต์ BigCode HuggingFace และ ServiceNow ยังได้เปิดตัว StarCoder LLM แบบเปิดโดยใช้ BigCode ในเดือนพฤษภาคม Nathan Cooper หัวหน้านักวิทยาศาสตร์การวิจัยของ Stability AI กล่าวว่าการฝึกอบรมของ StableCode เกี่ยวข้องกับการกรองและทำความสะอาดข้อมูล BigCode อย่างครอบคลุม
หน้าต่างบริบทแบบยาวของ StableCode มีหน้าต่างบริบทจำนวน 16,000 โทเค็น ซึ่ง StableCode อ้างว่ามีขนาดใหญ่กว่ารุ่นอื่นๆ หน้าต่างบริบทที่ยาวขึ้นทำให้สามารถใช้พรอมต์การสร้างโค้ดที่เป็นมืออาชีพและซับซ้อนมากขึ้นได้ ฐานรหัสขนาดที่ประกอบด้วยหลายไฟล์เพื่อช่วยทำความเข้าใจและสร้างรหัสใหม่
StableCode ยังอยู่ในช่วงเริ่มต้น และเป้าหมายอย่างเป็นทางการในตอนนี้คือการดูว่านักพัฒนาจะยอมรับและใช้โมเดลอย่างไร