開源AI領域長期受限於大型科技公司在算力及後訓練技術上的優勢。然而,AI2(前Allen人工智慧研究所)推出的Tülu3後訓練方案正試圖改變這一現狀。 Tülu3提供了一個完整的、可自訂的後訓練流程,讓使用者可以根據需求調整模型能力,並最終實現模型在特定領域的有效應用。這項技術突破,不僅降低了開源AI的應用門檻,也為企業和機構提供了更自主可控的選擇,尤其是在涉及敏感資料處理的領域,例如醫療研究。
在開源AI領域,與大型科技公司的差距不僅體現在算力上。 AI2(前Allen人工智慧研究所)正透過一系列開創性舉措縮小這一鴻溝,其最新發布的Tülu3後訓練方案,讓"原始"大語言模型轉化為實用AI系統變得觸手可及。
與普遍認知不同,基礎語言模型在預訓練後並不能直接投入使用。事實上,後訓練過程才是決定模型最終價值的關鍵環節。正是在這個階段,模型從一個"無所不知"卻缺乏判斷力的網絡,轉變為具有特定功能導向的實用工具。
長久以來,各大公司對後訓練計畫諱莫如深。雖然任何人都能用最新技術建立模型,但要讓模型在特定領域(如心理諮商或研究分析)發揮作用,則需要獨特的後訓練技術。即便是Meta的Llama這樣標榜"開源"的項目,其原始模型的來源和通用訓練方法仍是嚴格保密的。
Tülu3的出現改變了這個現狀。這套完整的後訓練計畫涵蓋了從主題選擇到資料治理,從強化學習到微調等全方位流程。使用者可以根據需求調整模型能力,例如強化數學和程式設計能力,或降低多語言處理優先順序。
AI2的測試顯示,經Tülu3訓練的模型表現已達到頂級開源模型水準。這項突破意義重大:它為企業提供了一個完全自主可控的選擇。特別是對醫療研究等處理敏感資料的機構來說,不必再依賴第三方API或客製化服務,可以在本地完成全流程訓練,既節省成本又保護隱私。
AI2不僅發表了這套方案,還率先將其應用於自家產品。雖然目前的測試結果是基於Llama模型,但他們已計劃推出基於自家OLMo且經Tülu3訓練的全新模型,這將是一個真正從頭到尾完全開源的解決方案。
這次技術開源不僅展現了AI2推動AI民主化的決心,也為整個開源AI社群注入了一針強心劑。它讓我們離真正的開放、透明的AI生態系統更近了一步。
Tülu3的開源,為AI領域的發展注入了新的活力,預示著更開放、更透明的AI未來。 這將促進AI技術的普及和應用,推動AI民主化進程,讓更多人受益於AI技術進步。