lbann

LBANN: Perangkat Jaringan Syaraf Tiruan Besar Livermore

Toolkit Jaringan Syaraf Tiruan Besar Livermore (LBANN) adalah kerangka kerja pelatihan pembelajaran mendalam bersumber terbuka, berpusat pada HPC, yang dioptimalkan untuk menyusun berbagai tingkat paralelisme.

LBANN memberikan akselerasi model paralel melalui dekomposisi domain untuk mengoptimalkan penskalaan pelatihan jaringan yang kuat. Hal ini juga memungkinkan komposisi paralelisme model dengan paralelisme data dan metode pelatihan ansambel untuk melatih jaringan saraf besar dengan data dalam jumlah besar. LBANN dapat memanfaatkan akselerator yang digabungkan secara erat, jaringan bandwidth tinggi berlatensi rendah, dan sistem file paralel bandwidth tinggi.

LBANN mendukung algoritme pelatihan canggih seperti metode pelatihan tanpa pengawasan, pengawasan mandiri, dan permusuhan (GAN) selain pembelajaran tradisional yang diawasi. Ini juga mendukung jaringan saraf berulang melalui pelatihan propagasi balik melalui waktu (BPTT), pembelajaran transfer, dan metode pelatihan multi-model dan ansambel.

Membangun LBANN

Metode yang disukai pengguna LBANN untuk menginstal LBANN adalah dengan menggunakan Spack. Setelah beberapa konfigurasi sistem, ini akan menjadi semudah

spack install lbann

Petunjuk lebih rinci untuk membangun dan memasang LBANN tersedia di dokumentasi utama LBANN.

Menjalankan LBANN

Template dasar untuk menjalankan LBANN adalah

 < mpi-launcher > < mpi-options > 
    lbann < lbann-options > 
    --model=model.prototext 
    --optimizer=opt.prototext 
    --reader=data_reader.prototext

Saat menggunakan akselerator GPGPU, pengguna harus menyadari bahwa LBANN dioptimalkan untuk kasus di mana seseorang menetapkan satu GPU per peringkat MPI. Ini harus diingat ketika memilih parameter untuk peluncur MPI.

Detail lebih lanjut tentang menjalankan LBANN didokumentasikan di sini.

Publikasi

Daftar publikasi, presentasi dan poster ditampilkan di sini.

Masalah pelaporan

Masalah, pertanyaan, dan bug dapat diajukan di pelacak masalah Github.