StableCode大模型,專門用於開發和實現人工智慧演算法和應用的工具,可以在多個深度學習框架上運行,適用於影像分類、目標檢測和語義分割等任務。
Stability AI 以其Stable Diffusion 文字生成圖像模型而聞名,但這並不是其感興趣的唯一領域,該公司現在也開始涉足程式碼生成領域。今天,Stability AI 發布了其新的開放大型語言模型(LLM)StableCode ,該模型旨在幫助用戶生成程式語言程式碼,基於transformer 神經網路打造。
StableCode 將提供三個不同層級:一個基礎模型用於一般用途,一個指令模型,以及一個能夠支援多達16,000 個字元(token)的長上下文視窗模型。
StableCode 模型受惠於開源BigCode 專案的初始程式語言資料集,同時也經過了Stability AI 的額外過濾和微調,StableCode 將首先支援Python、Go、Java、JavaScript、C、markdown 和C++ 等程式語言的開發。
訓練任何LLM 都依賴數據,StableCode 的數據來自BigCode 專案。 HuggingFace 和ServiceNow 在5 月也推出了基於BigCode 的開放StarCoder LLM。 Stability AI 的首席研究科學家Nathan Cooper 稱,StableCode 的訓練涉及了對BigCode 資料進行大量的過濾和清理。
StableCode 的長上下文視窗具有16,000 個字元的上下文窗口,Stability AI 聲稱比任何其他模型都要大,更長的上下文視窗使得可以使用更專業和複雜的程式碼產生提示,還意味著用戶可以讓StableCode 查看一個包含多個文件的中等大小的程式碼庫,以幫助理解和產生新程式碼。
StableCode 目前還處於早期階段,現在官方的目標是看看開發者會如何接受和使用該模型。