lbann
v0.104
Livermore 大型人工神經網路工具包 (LBANN) 是一個開源、以 HPC 為中心的深度學習訓練框架,經過最佳化可構成多個層級的並行性。
LBANN 透過域分解提供模型並行加速,以優化網路訓練的強大擴展。它還允許將模型並行性與資料並行性和整合訓練方法組合起來,以使用大量資料訓練大型神經網路。 LBANN 能夠利用緊耦合加速器、低延遲高頻寬網路和高頻寬平行檔案系統。
除了傳統的監督學習之外,LBANN 還支援最先進的訓練演算法,例如無監督、自我監督和對抗性 (GAN) 訓練方法。它還透過時間反向傳播 (BPTT) 訓練、遷移學習以及多模型和整合訓練方法來支援循環神經網路。
LBANN 用戶安裝 LBANN 的首選方法是使用 Spack。經過一些系統配置後,這應該會像下面一樣簡單
spack install lbann
有關建置和安裝 LBANN 的更多詳細說明,請參閱主要 LBANN 文件。
運行LBANN的基本模板是
< mpi-launcher > < mpi-options >
lbann < lbann-options >
--model=model.prototext
--optimizer=opt.prototext
--reader=data_reader.prototext
使用 GPGPU 加速器時,使用者應該意識到 LBANN 針對每個 MPI等級分配一個 GPU 的情況進行了最佳化。在選擇 MPI 啟動器的參數時應牢記這一點。
有關運行 LBANN 的更多詳細資訊記錄在此。
此處顯示了出版物、演示文稿和海報的清單。
可以在 Github 問題追蹤器上提出問題、疑問和錯誤。