GPT PINN
1.0.0
GPT-핀 아키텍처
로렌스 리버모어 연구소의 DDPS 세미나
브라운크런치 그룹 세미나
Galerkin ROM의 수치해석 세미나
PINN(Physics-Informed Neural Network)은 심층 신경망의 표현성과 최신 이기종 하드웨어의 컴퓨팅 성능을 활용하여 비선형 편미분 방정식(PDE)의 수치 솔루션을 얻는 강력한 도구임이 입증되었습니다. 그러나 교육에는 특히 다중 쿼리 및 실시간 시뮬레이션 설정에서 여전히 시간이 많이 걸리고 매개 변수화가 지나치게 과도한 경우가 많습니다. 본 논문에서는 파라메트릭 PDE 설정 시 두 가지 문제를 모두 완화하기 위해 Generative Pre-Trained PINN(GPT-PINN)을 제안합니다. GPT-PINN은 파라메트릭 시스템을 위한 새로운 메타 학습 패러다임을 나타냅니다. 네트워크의 네트워크로서, 외부/메타 네트워크는 뉴런 수가 크게 감소된 하나의 숨겨진 레이어만으로 초감소됩니다. 더욱이, 각 숨겨진 뉴런의 활성화 기능은 신중하게 선택된 시스템 구성에서 사전 훈련된 (전체) PINN입니다. 메타 네트워크는 시스템의 매개변수 의존성을 적응적으로 "학습"하고 이 숨겨진 레이어를 한 번에 하나의 뉴런으로 "성장"시킵니다. 결국 메타 네트워크는 적응적으로 선택된 매개변수 값 세트에서 훈련된 매우 적은 수의 네트워크를 포함함으로써 전체 매개변수 영역에 걸쳐 매개변수 시스템에 대한 대체 솔루션을 정확하고 효율적으로 생성할 수 있습니다.
1 매사추세츠 다트머스 대학교, 매사추세츠주 노스 다트머스 수학과
KG/B:
Python = 3.11.4
NumPy = 1.24.3
PyTorch = 2.1.2+cu121
Matplotlib = 3.7.1
AC:
Python = 3.9.12
NumPy = 1.24.3
PyTorch = 2.3.1+cu118
TensorFlow = 2.10.0
Matplotlib = 3.9.0
다양한 패키지 버전을 조합하면 코드가 거의 또는 전혀 변경되지 않고 실행될 가능성이 높습니다.
이 코드는 주로 GPU에서 연산이 수행되도록 의도하여 구현되었습니다. CPU 계산을 수행할 수 있지만 시간이 훨씬 오래 걸립니다.
Klein-Gordon, Allen-Cahn 및 Burgers의 방정식 파일은 현재 사용할 수 있습니다. KG_main.py , B_main.py 또는 AC_main.py (해당 디렉터리에 있는 폴더의 다른 파일과 함께)를 실행하면 전체 PINN 및 GPT-PINN 학습이 시작되어 GPT-PINN 숨겨진 레이어 크기가 1~15(Klein-Gordon) 또는 9(Burgers' 및 Allen-Cahn). 그런 다음 최종 GPT-PINN은 다양한 매개변수에 대해 테스트되고 훈련 및 테스트 결과는 플로팅 파일( KG_plotting.py , B_plotting.py 또는 AC_plotting.py )을 사용하여 시각화될 수 있습니다. PINN 또는 GPT-PINN 내의 다양한 매개변수는 기본 파일에서 쉽게 변경할 수 있습니다. 기본 설정으로 총 뉴런 수에 도달하면 최종 뉴런 수를 사용하여 얻은 가장 큰 손실을 찾기 위해 GPT-PINN을 한 번 더 학습합니다. 이는 GPT-PINN의 최종 상태에 대한 자세한 정보를 제공하기 위해 수행됩니다.
클라인-고든 실행 시간
버거의 운영 시간
Allen-Cahn 실행 시간
아래에서 Bibtex 인용문을 찾을 수 있습니다.
@article{chen2024gpt,
title={GPT-PINN: Generative Pre-Trained Physics-Informed Neural Networks toward non-intrusive Meta-learning of parametric PDEs},
author={Chen, Yanlai and Koohy, Shawn},
journal={Finite Elements in Analysis and Design},
volume={228},
pages={104047},
year={2024},
publisher={Elsevier}
}
