xAI公司開源了其3140億參數的混合專家模型Grok-1，引發了人工智慧領域的廣泛關注。模型的權重和網路架構完全開放，基於大量文字資料從頭訓練，未進行特定應用微調，啟動權重為25%。採用JAX庫和Rust語言進行自訂訓練，並遵守Apache2.0許可證，方便開發者使用和二次開發。模型的開源，為研究人員提供了寶貴的學習和研究資源，也推動了人工智慧領域的進一步發展。雖然部分研究者認為其開放程度仍有待提高，但Grok-1的發布無疑是人工智慧領域的一大進步。
馬斯克旗下xAI公司宣布開源3,140億參數的混合專家模型「Grok-1」，權重和網路架構全開放。模型從頭訓練，沒有特定應用微調，基於大量文字資料訓練，MoE模型啟動權重為25%。採用JAX庫和Rust語言自訂訓練堆疊，遵守Apache2.0許可證，熱度持續增加。模型儲存庫提供JAX範例程式碼，需要GPU記憶體較大，提供磁力連結下載權重檔。研究者評估Grok-1開放程度較低，預測比LLaMA-2強，提供了模型架構細節，並呼籲更多公開細節。
Grok-1的開源，雖然在開放程度方面存在一些爭議，但其強大的性能和開放的許可證，使其成為一個值得關注的模型，並有望推動大語言模型領域的發展。 未來，期待更多類似的開源專案出現，共同促進人工智慧技術的進步。 模型的取得和使用需要一定的技術門檻，但這並不妨礙其對人工智慧研究的貢獻。