GPT PINN

تنفيذ الشبكات العصبية التوليدية المدربة مسبقًا والمستنيرة بالفيزياء

GPT-PINN: الشبكات العصبية التوليدية المدربة مسبقًا والمستنيرة بالفيزياء نحو التعلم التلوي غير التدخلي لأجهزة PDE البارامترية

يانلاي تشين ¹ ، شون كوهي ¹

التحديث (7/4/2024): تم تحديث الكود لتحسين السرعة وسهولة القراءة

روابط الورق: arXiv | بوابة الأبحاث | ساينس دايركت

راجع أيضًا TGPT-PINN: تقليل النموذج غير الخطي باستخدام GPT-PINNs المحولة (GitHub)

بنية GPT-PINN

الحديث والعروض التقديمية

ندوة DDPS في مختبر لورانس ليفرمور

ندوة مجموعة براون كرانش

ندوة التحليل العددي لرومات جاليركين

خلاصة:

أثبتت الشبكة العصبية المستنيرة بالفيزياء (PINN) أنها أداة قوية للحصول على الحلول العددية للمعادلات التفاضلية الجزئية غير الخطية (PDEs) التي تستفيد من تعبير الشبكات العصبية العميقة والقدرة الحاسوبية للأجهزة الحديثة غير المتجانسة. ومع ذلك، لا يزال التدريب الخاص به يستغرق وقتًا طويلاً، خاصة في إعدادات الاستعلام المتعدد والمحاكاة في الوقت الفعلي، وغالبًا ما تكون معلماته مفرطة بشكل مفرط. في هذه الورقة، نقترح رقم PINN التوليدي المُدرب مسبقًا (GPT-PINN) للتخفيف من كلا التحديين في إعداد أجهزة PDE البارامترية. يمثل GPT-PINN نموذجًا جديدًا للتعلم التلوي للأنظمة البارامترية. باعتبارها شبكة من الشبكات، فإن شبكتها الخارجية/الفوقية منخفضة للغاية مع وجود طبقة مخفية واحدة فقط تحتوي على عدد أقل بكثير من الخلايا العصبية. علاوة على ذلك، فإن وظيفة التنشيط الخاصة بها في كل خلية عصبية مخفية هي رقم تعريف شخصي (كامل) تم تدريبه مسبقًا بتكوين نظام تم اختياره بحكمة. "تتعلم" الشبكة الفوقية بشكل تكيفي الاعتماد البارامتري للنظام و"تنمي" هذه الطبقة المخفية خلية عصبية واحدة في كل مرة. في النهاية، من خلال تضمين عدد صغير جدًا من الشبكات التي تم تدريبها على هذه المجموعة من قيم المعلمات المختارة بشكل تكيفي، فإن الشبكة الوصفية قادرة على توليد حلول بديلة للنظام البارامتري عبر مجال المعلمة بأكمله بدقة وكفاءة.

_{1 جامعة ماساتشوستس دارتموث، قسم الرياضيات، شمال دارتموث، ماساتشوستس}

متطلبات:

 KG/B:
Python     = 3.11.4
NumPy      = 1.24.3
PyTorch    = 2.1.2+cu121
Matplotlib = 3.7.1

AC:
Python     = 3.9.12 
NumPy      = 1.24.3
PyTorch    = 2.3.1+cu118
TensorFlow = 2.10.0
Matplotlib = 3.9.0

من المحتمل أن تقوم مجموعات من إصدارات الحزمة المختلفة بتشغيل التعليمات البرمجية مع تغيير بسيط أو بدون تغيير.

دعم وحدة معالجة الرسومات ووحدة المعالجة المركزية:

تم تنفيذ الكود بهدف إجراء العمليات الحسابية بشكل أساسي على وحدة معالجة الرسومات. يمكن إجراء حساب وحدة المعالجة المركزية، إلا أن الأمر سيستغرق وقتًا أطول بكثير.

الاستخدام:

تتوفر حاليًا ملفات معادلات Klein-Gordon وAllen-Cahn وBurgers. سيؤدي تشغيل KG_main.py أو B_main.py أو AC_main.py (مع الملفات الأخرى الموجودة في المجلد الموجود في الدليل المعني) إلى بدء تدريب full-PINN وGPT-PINN، مما يؤدي إلى زيادة حجم الطبقة المخفية لـ GPT-PINN من من 1 إلى 15 (كلاين جوردون) أو 9 (برجرز وألين كان). يتم بعد ذلك اختبار GPT-PINN النهائي على معلمات مختلفة ويمكن تصور نتائج التدريب والاختبار باستخدام ملفات التخطيط ( KG_plotting.py أو B_plotting.py أو AC_plotting.py ). يمكن بسهولة تغيير المعلمات المختلفة داخل PINN أو GPT-PINN في الملفات الرئيسية. كإعداد افتراضي، بمجرد الوصول إلى العدد الإجمالي للخلايا العصبية، يتم تدريب GPT-PINN مرة أخرى للعثور على أكبر خسارة تم الحصول عليها باستخدام العدد النهائي للخلايا العصبية. يتم ذلك لتوفير مزيد من المعلومات حول الحالة النهائية لـ GPT-PINN.

أوقات تشغيل كلاين-جوردون

أوقات تشغيل البرغر

أوقات تشغيل ألين كان

الاقتباس:

أدناه يمكنك العثور على اقتباس Bibtex:

 @article{chen2024gpt,
  title={GPT-PINN: Generative Pre-Trained Physics-Informed Neural Networks toward non-intrusive Meta-learning of parametric PDEs},
  author={Chen, Yanlai and Koohy, Shawn},
  journal={Finite Elements in Analysis and Design},
  volume={228},
  pages={104047},
  year={2024},
  publisher={Elsevier}
}