GPT PINN

Implementasi Jaringan Neural Berinformasi Fisika Pra-Terlatih Generatif

GPT-PINN: Jaringan Neural Berinformasi Fisika Pra-Terlatih Generatif menuju Pembelajaran Meta non-intrusif dari PDE parametrik

Yanlai Chen ¹ , Shawn Koohy ¹

Pembaruan (7/4/2024): Kode telah diperbarui untuk mengoptimalkan kecepatan dan keterbacaan

Tautan Kertas: arXiv | Gerbang Penelitian | Sains Langsung

Lihat juga TGPT-PINN: Reduksi model nonlinier dengan transformasi GPT-PINN (GitHub)

Arsitektur GPT-PINN

Pembicaraan dan Presentasi

Seminar DDPS di Lab Lawrence Livermore

Seminar Kelompok Brown CRUNCH

Seminar Analisis Numerik ROM Galerkin

Abstrak:

Jaringan Neural Informasi Fisika (PINN) telah membuktikan dirinya sebagai alat yang ampuh untuk mendapatkan solusi numerik persamaan diferensial parsial nonlinier (PDE) yang memanfaatkan ekspresivitas jaringan saraf dalam dan kekuatan komputasi perangkat keras heterogen modern. Namun, pelatihannya masih memakan waktu, terutama dalam pengaturan simulasi multi-kueri dan real-time, dan parameterisasinya sering kali terlalu berlebihan. Dalam makalah ini, kami mengusulkan PINN Pra-Terlatih Generatif (GPT-PINN) untuk memitigasi kedua tantangan dalam pengaturan PDE parametrik. GPT-PINN mewakili paradigma pembelajaran meta baru untuk sistem parametrik. Sebagai jaringan dari berbagai jaringan, jaringan luar/meta-nya mengalami hiper-reduksi dengan hanya satu lapisan tersembunyi yang mengalami pengurangan jumlah neuron secara signifikan. Selain itu, fungsi aktivasi di setiap neuron tersembunyi adalah PINN (penuh) yang telah dilatih sebelumnya pada konfigurasi sistem yang dipilih dengan bijaksana. Jaringan meta secara adaptif “mempelajari” ketergantungan parametrik sistem dan “menumbuhkan” lapisan tersembunyi ini satu neuron pada satu waktu. Pada akhirnya, dengan mencakup sejumlah kecil jaringan yang dilatih pada kumpulan nilai parameter yang dipilih secara adaptif ini, jaringan meta mampu menghasilkan solusi pengganti untuk sistem parametrik di seluruh domain parameter secara akurat dan efisien.

_{1 Universitas Massachusetts Dartmouth, Departemen Matematika, North Dartmouth, MA}

Persyaratan:

 KG/B:
Python     = 3.11.4
NumPy      = 1.24.3
PyTorch    = 2.1.2+cu121
Matplotlib = 3.7.1

AC:
Python     = 3.9.12 
NumPy      = 1.24.3
PyTorch    = 2.3.1+cu118
TensorFlow = 2.10.0
Matplotlib = 3.9.0

Kombinasi versi paket yang berbeda kemungkinan akan menjalankan kode dengan sedikit atau tanpa perubahan.

Dukungan GPU dan CPU:

Kode ini diimplementasikan dengan tujuan agar komputasi terutama dilakukan pada GPU. Perhitungan CPU dapat dilakukan namun akan memakan waktu lebih lama.

Penggunaan:

File persamaan Klein-Gordon, Allen-Cahn, dan Burgers saat ini tersedia. Menjalankan KG_main.py , B_main.py , atau AC_main.py (dengan file lain dalam folder yang terletak di direktori masing-masing) akan memulai pelatihan PINN lengkap dan GPT-PINN, sehingga meningkatkan ukuran lapisan tersembunyi GPT-PINN dari 1 hingga 15 (Klein-Gordon) atau 9 (Burger dan Allen-Cahn). GPT-PINN Final kemudian diuji pada berbagai parameter dan hasil pelatihan dan pengujian dapat divisualisasikan menggunakan file plotting ( KG_plotting.py , B_plotting.py , atau AC_plotting.py ). Berbagai parameter dalam PINN atau GPT-PINN dapat dengan mudah diubah di file utama. Sebagai pengaturan default, setelah jumlah total neuron tercapai, GPT-PINN dilatih sekali lagi untuk menemukan kerugian terbesar yang diperoleh dengan menggunakan jumlah neuron akhir. Hal ini dilakukan untuk memberikan informasi lebih lanjut tentang status akhir GPT-PINN.

Waktu Lari Klein-Gordon

Waktu Lari Burger

Waktu Lari Allen-Cahn

Kutipan:

Di bawah ini Anda dapat menemukan kutipan Bibtex:

 @article{chen2024gpt,
  title={GPT-PINN: Generative Pre-Trained Physics-Informed Neural Networks toward non-intrusive Meta-learning of parametric PDEs},
  author={Chen, Yanlai and Koohy, Shawn},
  journal={Finite Elements in Analysis and Design},
  volume={228},
  pages={104047},
  year={2024},
  publisher={Elsevier}
}