از پیشبینی خواص مواد تا یادگیری عملگرهای فیزیکی
در بخش بزرگی از تاریخ کاربرد یادگیری ماشین در علوم و مهندسی، شبکه عصبی عمدتاً بهعنوان یک مدل رگرسیون غیرخطی استفاده میشد. پژوهشگر مجموعهای از متغیرهای ورودی را به مدل میداد و انتظار داشت یک یا چند کمیت عددی را در خروجی دریافت کند. برای مثال، در علم مواد میتوان ترکیب شیمیایی، دمای عملیات حرارتی و زمان آنیل را به شبکه وارد کرد و خواصی مانند گاف انرژی، چگالی، مدول الاستیک، هدایت الکتریکی یا تحرک حاملها را پیشبینی کرد:
\[\left(x_{\mathrm{Al}},T_{\mathrm{anneal}},t_{\mathrm{anneal}}\right) \xrightarrow{\mathrm{NN}} \left(E_g,\rho,\mu\right)\]در چنین چارچوبی، شبکه عصبی یک نگاشت میان دو فضای متناهیبعد را تقریب میزند:
\[\mathbf{x}\in \mathbb{R}^{n} \longrightarrow \mathbf{y}\in \mathbb{R}^{m}\]در عمل، شبکه رابطهای پیچیده میان تعدادی ویژگی عددی و تعدادی خروجی عددی را از دادهها استخراج میکند. هرچند این مدلها میتوانند بسیار قدرتمند باشند، نقش آنها اساساً محدود به پیشبینی property، دستهبندی ساختارها یا ساخت یک surrogate برای یک خروجی مشخص است.
تحول مهم سالهای اخیر این است که شبکههای عصبی دیگر الزاماً فقط نگاشت میان چند عدد را یاد نمیگیرند. معماریهایی مانند Neural Operator، DeepONet، Fourier Neural Operator و نسخههای Physics-Informed آنها برای یادگیری نگاشت میان توابع، میدانها و توزیعهای فیزیکی طراحی شدهاند.
در این چارچوب، مدل دیگر صرفاً پاسخ یک مسئله را تخمین نمیزند؛ بلکه میکوشد عملگر حل یک خانواده از مسائل فیزیکی را یاد بگیرد.
۱. تفاوت میان تابع و عملگر
برای درک اهمیت این تحول، ابتدا باید میان «تابع» و «عملگر» تمایز قائل شد.
یک تابع معمولی میتواند چند عدد را دریافت و چند عدد تولید کند:
\[f:\mathbb{R}^{n}\rightarrow \mathbb{R}^{m}\]برای مثال:
\[f(x_{\mathrm{Al}},T,t)=E_g\]در اینجا ورودی و خروجی هر دو بردارهایی با تعداد مؤلفه محدود هستند.
اما یک عملگر، یک تابع یا میدان کامل را دریافت کرده و تابع یا میدان دیگری تولید میکند:
\[\mathcal{G}:a(\mathbf{x})\longrightarrow u(\mathbf{x})\]در این رابطه، $a(\mathbf{x})$ ممکن است توزیع مکانی یک خاصیت ماده باشد و $u(\mathbf{x})$ میدان پاسخ سیستم را نشان دهد.
برای مثال، در مسئله انتقال حرارت میتوان نوشت:
\[\mathcal{G}: \begin{bmatrix} k(\mathbf{x}) \\ Q(\mathbf{x},t) \\ T_0(\mathbf{x}) \\ BC \end{bmatrix} \longrightarrow T(\mathbf{x},t)\]در اینجا ورودی مدل تنها چند عدد نیست، بلکه ممکن است شامل موارد زیر باشد:
- میدان هدایت حرارتی $k(\mathbf{x})$
- توزیع منبع حرارتی $Q(\mathbf{x},t)$
- میدان دمای اولیه $T_0(\mathbf{x})$
- شرایط مرزی روی سطوح مختلف
- هندسه یا دامنه محاسباتی
خروجی نیز یک مقدار منفرد مانند بیشینه دما نیست، بلکه کل میدان دما در فضا و زمان است:
\[T=T(x,y,z,t)\]بنابراین مدل در حال یادگیری رابطهای میان دو فضای تابعی است، نه فقط میان دو فضای برداری متناهیبعد. Neural Operatorها دقیقاً با هدف تقریب چنین نگاشتهایی معرفی شدند؛ یعنی نگاشتهایی از یک فضای تابعی به فضای تابعی دیگر.
۲. شبیهسازهای عددی کلاسیک چه کاری انجام میدهند؟
بسیاری از پدیدههای فیزیکی با معادلات دیفرانسیل جزئی توصیف میشوند. برای مثال، معادله انتقال حرارت گذرا را میتوان بهصورت زیر نوشت:
\[\rho C_p\frac{\partial T}{\partial t} = \nabla\cdot\left(k\nabla T\right) + Q\]برای حل این معادله معمولاً باید:
- هندسه مسئله تعریف شود؛
- دامنه مشبندی شود؛
- خواص ماده مشخص شوند؛
- شرایط اولیه و مرزی اعمال شوند؛
- معادلات پیوسته گسستهسازی شوند؛
- دستگاه جبری حاصل در هر گام زمانی حل شود.
روشهایی مانند تفاضل محدود، حجم محدود، اجزای محدود و روشهای طیفی، معادلات حاکم را برای یک مجموعه مشخص از پارامترها حل میکنند.
اگر توان لیزر، سرعت اسکن، ضریب هدایت حرارتی یا شرایط مرزی تغییر کند، در حالت معمول باید مسئله عددی مجدداً حل شود. به بیان دیگر، solver کلاسیک برای هر ورودی جدید یک بار فرایند حل را اجرا میکند:
\[a_i(\mathbf{x}) \xrightarrow{\text{Numerical Solver}} u_i(\mathbf{x})\]که در آن (i) نشاندهنده یک نمونه مشخص از مسئله است.
این روشها همچنان مبنای اصلی شبیهسازی علمی هستند و در بسیاری از مسائل، مطمئنترین و دقیقترین گزینه محسوب میشوند. بااینحال، اجرای مکرر آنها در مسائلی مانند بهینهسازی، طراحی معکوس، تحلیل عدم قطعیت، کنترل بلادرنگ و پیمایش فضای پارامترها میتواند بسیار پرهزینه باشد.
۳. شبکه عصبی معمولی بهعنوان surrogate model
پیش از ظهور Neural Operatorها، یکی از روشهای متداول برای کاهش هزینه محاسباتی، ساخت یک surrogate model بود.
فرض کنیم هزاران شبیهسازی اجزای محدود برای ترکیبهای مختلف توان لیزر (P)، سرعت اسکن (v) و شعاع پرتو (r) انجام شده باشد. سپس میتوان شبکهای آموزش داد که مثلاً بیشینه دما یا ابعاد حوضچه مذاب را پیشبینی کند:
\[(P,v,r) \xrightarrow{\mathrm{NN}} (T_{\max},L_{\mathrm{melt}},W_{\mathrm{melt}})\]این مدل میتواند بسیار سریع باشد، اما تنها کمیتهایی را تولید میکند که از ابتدا بهعنوان خروجی تعریف شدهاند. اگر بعداً به میدان کامل دما، نرخ سرمایش در یک نقطه خاص یا گرادیان حرارتی نیاز داشته باشیم، باید خروجی شبکه یا حتی ساختار مدل را تغییر دهیم.
روش دیگر آن بود که مختصات نیز به ورودی اضافه شوند:
\[(x,y,z,t,P,v,r) \xrightarrow{\mathrm{NN}} T\]در این صورت شبکه میتواند دما را در هر نقطه پیشبینی کند. بااینحال، این مدل هنوز از نظر مفهومی تابعی از چند ورودی عددی است. همچنین ممکن است برای یک هندسه، شرایط مرزی یا دامنه پارامتری مشخص آموزش دیده باشد و تغییر اساسی در ورودی تابعی، مانند یک میدان هدایت حرارتی کاملاً جدید، برای آن ساده نباشد.
۴. Physics-Informed Neural Network چه تغییری ایجاد کرد؟
Physics-Informed Neural Networks یا PINNها گام مهمی در اتصال یادگیری عمیق به معادلات فیزیکی بودند.
در PINN، شبکه معمولاً مختصات مکانی و زمانی را دریافت کرده و میدان مجهول را تولید میکند:
\[(x,t)\xrightarrow{\mathrm{NN}}u_\theta(x,t)\]سپس با استفاده از مشتقگیری خودکار، مشتقات موردنیاز معادله حاکم محاسبه میشوند. اگر مسئله بهصورت کلی زیر نوشته شود:
\[\mathcal{N}[u](x,t)=0\]باقیمانده فیزیکی شبکه برابر است با:
\[R_\theta(x,t)=\mathcal{N}[u_\theta](x,t)\]تابع هزینه نیز معمولاً از چند بخش تشکیل میشود:
\[\mathcal{L} = \lambda_{\mathrm{PDE}}\mathcal{L}_{\mathrm{PDE}} + \lambda_{\mathrm{BC}}\mathcal{L}_{\mathrm{BC}} + \lambda_{\mathrm{IC}}\mathcal{L}_{\mathrm{IC}} + \lambda_{\mathrm{data}}\mathcal{L}_{\mathrm{data}}\]بنابراین شبکه فقط با داده آموزش نمیبیند؛ بلکه باید معادله دیفرانسیل، شرایط مرزی و شرایط اولیه را نیز تا حد ممکن ارضا کند.
مزیت مهم PINN این است که راهحل بهصورت یک تابع پیوسته نمایش داده میشود و میتوان از دادههای محدود در کنار قوانین فیزیکی استفاده کرد. اما یک PINN استاندارد معمولاً برای یک نمونه مشخص از مسئله آموزش میبیند.
برای مثال، اگر توان لیزر، شکل منبع حرارتی، هندسه یا شرایط مرزی تغییر کند، ممکن است نیاز باشد شبکه دوباره آموزش داده یا دستکم بهطور جدی fine-tune شود.
از این نظر، PINN بیشتر شبیه روشی برای حل یک مسئله دیفرانسیل مشخص است:
\[(\mathbf{x},t)\longrightarrow u(\mathbf{x},t)\]نه لزوماً روشی برای یادگیری عملگر حل تمام حالتهای ممکن آن مسئله.
این تفاوت، مرز اصلی میان PINN و Neural Operator است.
۵. Neural Operator دقیقاً چه چیزی را یاد میگیرد؟
فرض کنیم یک معادله پارامتری داشته باشیم:
\[\mathcal{N}\left(u;a\right)=0\]در اینجا (a) میتواند نشاندهنده مجموعهای از ورودیهای تابعی و پارامتری باشد؛ برای مثال:
\[a= \left\{ k(\mathbf{x}), Q(\mathbf{x},t), BC, IC, \text{geometry} \right\}\]برای هر انتخاب از (a)، معادله یک جواب متفاوت (u) خواهد داشت. بنابراین میتوان یک عملگر حل تعریف کرد:
\[\mathcal{G}^{\dagger}:a\mapsto u\]هدف Neural Operator آن است که تقریب پارامتری این عملگر را یاد بگیرد:
\[\mathcal{G}_{\theta}\approx \mathcal{G}^{\dagger}\]پس از آموزش، برای یک ورودی جدید $a_{\mathrm{new}}$، مدل میتواند میدان پاسخ را مستقیماً تخمین بزند:
\[u_{\mathrm{pred}} = \mathcal{G}_{\theta}(a_{\mathrm{new}})\]تفاوت بنیادی در این است که مدل روی یک جواب واحد آموزش نمیبیند، بلکه روی مجموعهای از زوجهای تابعی آموزش داده میشود:
\[\left\{ a_i(\mathbf{x}),u_i(\mathbf{x}) \right\}_{i=1}^{N}\]در نتیجه، هدف آن یادگیری پاسخ یک خانواده از مسائل است.
برای مثال، در انتقال حرارت میتوان صدها یا هزاران شبیهسازی با منابع حرارتی و خواص مکانی مختلف تولید کرد:
\[\begin{bmatrix} k_i(\mathbf{x}) \\ Q_i(\mathbf{x},t) \\ BC_i \end{bmatrix} \longrightarrow T_i(\mathbf{x},t)\]مدل با مشاهده این نمونهها میآموزد که چگونه تغییر در میدانهای ورودی، کل میدان دما را تغییر میدهد.
به همین دلیل، Neural Operator را میتوان یک surrogate solver دانست: مدلی که پس از یک مرحله آموزش پرهزینه، میتواند نمونههای جدید یک خانواده از مسائل را بسیار سریع تقریب بزند. پژوهشهای بنیادی Neural Operator و Fourier Neural Operator این چارچوب را بهعنوان یادگیری مستقیم نگاشت پارامترهای تابعی PDE به میدان پاسخ معرفی کردهاند.
۶. چرا این ایده از نظر ریاضی مهم است؟
شبکههای عصبی معمولی معمولاً روی بردارهایی با ابعاد ثابت کار میکنند. برای مثال، تصویری با وضوح $64\times64$ به برداری با تعداد مؤلفه مشخص تبدیل میشود. اگر وضوح شبکه یا مش تغییر کند، ساختار ورودی مدل نیز ممکن است تغییر کند.
اما یک میدان فیزیکی در اصل یک شیء پیوسته است:
\[u:\Omega\rightarrow\mathbb{R}\]نمونهبرداری میدان روی یک مش فقط یک نمایش گسسته از آن است:
\[u(\mathbf{x}_1),u(\mathbf{x}_2),\ldots,u(\mathbf{x}_n)\]هدف نظری Neural Operator این است که مدل، تا حد امکان، خود عملگر پیوسته را یاد بگیرد، نه صرفاً رابطه میان بردارهایی روی یک مش خاص را.
این ویژگی گاهی با عنوان discretization invariance یا استقلال نسبی از گسستهسازی مطرح میشود. به این معنا که پارامترهای مدل الزاماً به یک تعداد ثابت از نقاط مش وابسته نیستند و مدل میتواند، تحت شرایط مناسب، روی تفکیکهای متفاوت ارزیابی شود. البته این ویژگی مطلق نیست و عملکرد واقعی همچنان به معماری، داده آموزشی، نحوه نمونهبرداری و نوع مسئله وابسته است.
۷. DeepONet چگونه عملگر را نمایش میدهد؟
یکی از معماریهای مهم در یادگیری عملگر، DeepONet است.
DeepONet معمولاً از دو بخش اصلی تشکیل میشود:
Branch Network
شبکه Branch اطلاعات مربوط به تابع ورودی را دریافت میکند. برای مثال، تابع (a(x)) در تعدادی نقطه حسگر نمونهبرداری میشود:
\[[a(x_1),a(x_2),\ldots,a(x_m)]\]سپس Branch Network این تابع ورودی را به یک نمایش نهفته تبدیل میکند.
Trunk Network
شبکه Trunk مختصات نقطهای را دریافت میکند که میخواهیم خروجی در آن محاسبه شود:
\[y=(x,t)\]خروجی نهایی معمولاً از ترکیب خروجی Branch و Trunk ساخته میشود:
\[\mathcal{G}_{\theta}(a)(y) = \sum_{k=1}^{p} b_k(a)t_k(y)\]در این بیان:
- (b_k(a)) ویژگیهای استخراجشده از تابع ورودی هستند؛
- (t_k(y)) توابع پایه وابسته به مختصات خروجی هستند.
به زبان ساده، Branch میفهمد «چه مسئلهای» باید حل شود و Trunk مشخص میکند پاسخ «در کدام نقطه» موردنیاز است.
DeepONet برای تقریب عملگرهای صریح و ضمنی، از جمله عملگرهای مرتبط با معادلات دیفرانسیل، توسعه یافت.
۸. Fourier Neural Operator چگونه کار میکند؟
Fourier Neural Operator یا FNO یکی دیگر از معماریهای مهم یادگیری عملگر است.
ایده اصلی FNO این است که بسیاری از برهمکنشهای غیرموضعی میدانها را میتوان بهشکل کارآمدی در فضای فوریه نمایش داد. یک لایه کلی Neural Operator را میتوان بهصورت زیر نوشت:
\[v_{l+1}(\mathbf{x}) = \sigma\left[ Wv_l(\mathbf{x}) + \int_{\Omega} \kappa_\theta(\mathbf{x},\mathbf{y}) v_l(\mathbf{y}) \,d\mathbf{y} \right]\]در این رابطه:
- (v_l) میدان ویژگی در لایه (l) است؛
- (W) یک تبدیل موضعی است؛
- $\kappa_\theta$ هسته انتگرالی یادگرفتنی است؛
- عبارت انتگرالی اطلاعات نقاط مختلف دامنه را با یکدیگر ترکیب میکند.
در FNO، این عملیات انتگرالی در فضای فوریه پارامتردهی میشود:
\[v \xrightarrow{\mathcal{F}} \hat{v} \xrightarrow{R_\theta} R_\theta\hat{v} \xrightarrow{\mathcal{F}^{-1}} v'\]مراحل کلی هر لایه عبارتاند از:
- تبدیل فوریه میدان ورودی؛
- نگهداشتن یا تبدیل تعدادی از مدهای فرکانسی؛
- ضرب مدها در وزنهای مختلط یادگرفتنی؛
- تبدیل معکوس فوریه؛
- اعمال تبدیل موضعی و تابع فعالسازی.
فضای فوریه برای گرفتن ساختارهای سراسری و برهمکنشهای دوربرد مناسب است. به همین دلیل FNO در مسائل متعددی مانند معادله برگر، جریان دارسی و ناویر–استوکس بررسی شده است. مقاله اولیه FNO نشان داد که این مدل میتواند نگاشت میان ورودیهای تابعی و حل PDEهای پارامتری را مستقیماً یاد بگیرد.
بااینحال، FNO نیز محدودیتهایی دارد. هندسههای نامنظم، مرزهای پیچیده، ناپیوستگیها، شوکها و ساختارهای بسیار موضعی ممکن است به معماریهای اصلاحشده، نگاشت هندسی، روشهای گرافی یا نمایشهای چندمقیاسی نیاز داشته باشند.
۹. Physics-Informed Neural Operator چیست؟
Neural Operatorهای کاملاً دادهمحور معمولاً به تعداد زیادی زوج ورودی–خروجی نیاز دارند:
\[a_i\longrightarrow u_i\]اما تولید (u_i) ممکن است مستلزم اجرای تعداد زیادی شبیهسازی گرانقیمت باشد. برای کاهش این وابستگی، Physics-Informed Neural Operator یا PINO معرفی شده است.
در PINO، علاوه بر خطای میان پاسخ پیشبینیشده و داده مرجع، باقیمانده معادله حاکم نیز در تابع هزینه وارد میشود:
\[\mathcal{L}_{\mathrm{PINO}} = \mathcal{L}_{\mathrm{data}} + \lambda_{\mathrm{PDE}}\mathcal{L}_{\mathrm{PDE}} + \lambda_{\mathrm{BC}}\mathcal{L}_{\mathrm{BC}} + \lambda_{\mathrm{IC}}\mathcal{L}_{\mathrm{IC}}\]تفاوت آن با PINN این است که خروجی مدل صرفاً جواب یک مسئله مشخص نیست. PINO تلاش میکند عملگر حل یک خانواده از PDEهای پارامتری را یاد بگیرد و همزمان پاسخهای آن را به سمت سازگاری فیزیکی هدایت کند.
بهصورت شماتیک:
PINN
\[(x,t) \xrightarrow{\mathrm{NN}} u(x,t)\]برای یک مجموعه مشخص از ضرایب و شرایط مرزی.
PINO
\[[a(x),BC,IC] \xrightarrow{\mathrm{Neural\ Operator}} u(x,t)\]برای مجموعهای از ورودیها، ضرایب و شرایط مختلف.
PINO با ترکیب داده و محدودیتهای PDE، امکان یادگیری عملگر حل را فراهم میکند و حتی میتواند قیدهای فیزیکی را در تفکیکی متفاوت از داده آموزشی اعمال کند.
۱۰. مثال انتقال حرارت در ساخت افزایشی
فرض کنیم هدف، شبیهسازی میدان دما در فرایند ذوب لیزری بستر پودر باشد. معادله حاکم میتواند بهشکل زیر نوشته شود:
\[\rho(T)C_p(T)\frac{\partial T}{\partial t} = \nabla\cdot\left[k(T)\nabla T\right] + Q_{\mathrm{laser}}(\mathbf{x},t)\]بههمراه شرایط مرزی همرفت و تابش:
\[-k\nabla T\cdot\mathbf{n} = h(T-T_\infty) + \epsilon\sigma_{\mathrm{SB}} \left(T^4-T_\infty^4\right) - q_{\mathrm{laser}}\]در مدل رگرسیونی معمولی ممکن است داشته باشیم:
\[(P,v,r,\eta) \longrightarrow (T_{\max},L_{\mathrm{melt}},W_{\mathrm{melt}})\]در PINN ممکن است شبکه زیر آموزش داده شود:
\[(x,y,z,t)\longrightarrow T(x,y,z,t)\]اما این شبکه معمولاً برای یک مجموعه معین از (P)، (v)، (r)، هندسه و خواص ماده آموزش میبیند.
در Neural Operator میتوان نگاشت وسیعتری تعریف کرد:
\[\mathcal{G}_{\theta}: \begin{bmatrix} Q_{\mathrm{laser}}(\mathbf{x},t) \\ k(\mathbf{x},T) \\ C_p(\mathbf{x},T) \\ BC \\ T_0 \end{bmatrix} \longrightarrow T(\mathbf{x},t)\]مدل با مشاهده تعداد زیادی مسئله مختلف میآموزد که چگونه تغییر در منبع حرارتی، خواص ماده و شرایط مرزی، میدان دما را تغییر میدهد.
پس از آموزش، میتوان برای یک مسیر اسکن یا توزیع خواص جدید، میدان دمای تقریبی را بدون اجرای کامل solver عددی تولید کرد.
در مرحله بعد نیز میتوان از میدان دما کمیتهایی مانند موارد زیر را استخراج کرد:
\[\dot{T}=\frac{\partial T}{\partial t}\] \[G=|\nabla T|\] \[R= \frac{1}{G} \left| \frac{\partial T}{\partial t} \right|\]یا ناحیه حوضچه مذاب را از شرط زیر تعیین کرد:
\[\Omega_{\mathrm{melt}} = \left\{ \mathbf{x}:T(\mathbf{x},t)\geq T_{\mathrm{liquidus}} \right\}\]در چنین حالتی، مدل دیگر فقط طول یا عرض حوضچه مذاب را پیشبینی نمیکند؛ بلکه میدان پایهای را تولید میکند که بسیاری از کمیتهای فیزیکی از آن قابل محاسبهاند.
۱۱. مثال تحول ریزساختار
تحول ریزساختار معمولاً با میدانهایی مانند پارامتر نظم، غلظت، کسر فاز یا جهتگیری بلوری توصیف میشود.
برای مثال، معادله Allen–Cahn را میتوان بهصورت زیر نوشت:
\[\frac{\partial \phi}{\partial t} = -M\frac{\delta F}{\delta\phi}\]و معادله Cahn–Hilliard بهصورت:
\[\frac{\partial c}{\partial t} = \nabla\cdot \left( M\nabla\frac{\delta F}{\delta c} \right)\]در یک مدل رگرسیونی معمولی، ممکن است ریزساختار اولیه به چند descriptor تبدیل شود و سپس اندازه متوسط دانه یا کسر فاز نهایی پیشبینی شود:
\[\text{Descriptors of initial microstructure} \longrightarrow \bar{d}_{\mathrm{grain}}\]اما در یادگیری عملگر میتوان نگاشت زیر را آموخت:
\[\phi(\mathbf{x},t_0) \longrightarrow \phi(\mathbf{x},t)\]یا در حالت کلیتر:
\[\begin{bmatrix} \phi_0(\mathbf{x}) \\ M(\mathbf{x}) \\ \gamma(\mathbf{x}) \\ T(\mathbf{x},t) \end{bmatrix} \longrightarrow \phi(\mathbf{x},t)\]مدل در اینجا کل تکامل فضایی و زمانی ریزساختار را تولید میکند. به این ترتیب، میتوان موقعیت مرز دانهها، رشد یا انحلال فازها، درشتشدن ساختار و تغییرات مورفولوژیک را مستقیماً از میدان خروجی بررسی کرد.
البته دقت چنین مدلی بهشدت به پوشش فضای ریزساختارها در داده آموزشی وابسته است. اگر مدل فقط روی ریزساختارهای نزدیک به تعادل یا اندازه دانه محدود آموزش دیده باشد، نباید انتظار داشت بدون ارزیابی جدی در رژیمهای کاملاً جدید قابل اعتماد باشد.
۱۲. آیا مدلهای اتمی نیز Neural Operator هستند؟
در مدلسازی اتمی، ورودی معمولاً شامل نوع و موقعیت اتمها است:
\[\mathcal{X} = \left\{ (Z_i,\mathbf{r}_i) \right\}_{i=1}^{N}\]مدل میتواند انرژی کل را پیشبینی کند:
\[\mathcal{X}\longrightarrow E\]و سپس نیروها از گرادیان انرژی به دست آیند:
\[\mathbf{F}_i = -\frac{\partial E}{\partial \mathbf{r}_i}\]تنش نیز میتواند از مشتق انرژی نسبت به کرنش محاسبه شود:
\[\boldsymbol{\sigma} = \frac{1}{V} \frac{\partial E}{\partial\boldsymbol{\varepsilon}}\]این مدلها معمولاً Machine-Learned Interatomic Potentials نامیده میشوند. آنها الزاماً Neural Operator به معنای متعارف PDE نیستند، زیرا اغلب یک ساختار اتمی گسسته را به انرژی، نیرو و تنش نگاشت میکنند.
بااینحال، از نظر نقش محاسباتی تحول مشابهی رخ داده است. مدل دیگر صرفاً یک property ثابت را پیشبینی نمیکند، بلکه سطح انرژی پتانسیل را تقریب میزند. پس از آن میتوان مدل را درون شبیهسازی دینامیک مولکولی قرار داد و مسیر زمانی سیستم را محاسبه کرد:
\[m_i\frac{d^2\mathbf{r}_i}{dt^2} = \mathbf{F}_i\]مدل در اینجا جایگزین محاسبات مکرر و پرهزینه ساختار الکترونی، مانند DFT، میشود. بنابراین بهتر است این مدلها را surrogate potential یا learned force field نامید، نه آنکه تمام آنها را مستقیماً Neural Operator بنامیم.
نسل جدید مدلهای بنیادین اتمی تلاش میکند یک پتانسیل عمومی را روی مجموعه بزرگی از عناصر، ترکیبات و محیطهای شیمیایی آموزش دهد. این مدلها میتوانند انرژی، نیرو و تنش را برای ساختارهای متنوع تخمین بزنند و سپس برای یک سامانه خاص fine-tune شوند. بااینحال، پژوهشها همچنان محدودیتهایی در extrapolation، انتقال به محیطهای شیمیایی جدید، گذارهای فازی و دقت واکنشها گزارش میکنند.
۱۳. Foundation Simulation Model چیست؟
اصطلاح Foundation Model معمولاً به مدلی اشاره دارد که:
- روی مجموعه داده بسیار بزرگ و متنوعی pretrain شده باشد؛
- یک بازنمایی عمومی از یک دامنه بیاموزد؛
- بتواند برای چند وظیفه مختلف استفاده شود؛
- قابلیت fine-tuning یا adaptation داشته باشد؛
- تنها برای یک مسئله یا ماده خاص ساخته نشده باشد.
در شبیهسازی علمی، ایده Foundation Simulation Model هنوز در حال شکلگیری است و تعریف کاملاً یکنواختی ندارد. اما هدف کلی آن ساخت مدلی عمومیتر از یک surrogate solver تکمسئلهای است.
یک Neural Operator معمولی ممکن است فقط برای جریان دارسی دوبعدی یا انتقال حرارت در یک هندسه مشخص آموزش ببیند. در مقابل، یک Foundation Simulation Model آرمانی باید بتواند روی طیف گستردهای از:
- هندسهها
- شرایط اولیه
- شرایط مرزی
- ضرایب ماده
- تفکیکهای مکانی
- رژیمهای فیزیکی
- و شاید چند نوع معادله
آموزش ببیند و سپس برای مسئله جدید سازگار شود.
بهصورت مفهومی:
\[\text{Single surrogate} \quad \longrightarrow \quad \text{one family of problems}\] \[\text{Foundation simulator} \quad \longrightarrow \quad \text{many related families of problems}\]مدلهای بنیادین علمی معمولاً از ترکیبی از دادههای شبیهسازی، دادههای تجربی، معماریهای Transformer، شبکههای گرافی، operator learning، pretraining و transfer learning استفاده میکنند.
برای مثال، مدل Aurora بهعنوان یک foundation model برای سامانه زمین، روی حجم بزرگی از دادههای متنوع جوی و زمینسامانهای pretrain شده و برای چند وظیفه پیشبینی به کار گرفته شده است. چنین نمونههایی نشان میدهند که مفهوم foundation model از پردازش زبان و تصویر به شبیهسازی و پیشبینی سامانههای فیزیکی نیز در حال گسترش است.
در علم مواد نیز مدلهای بنیادین برای کشف مواد و پتانسیلهای بیناتمی عمومی در حال توسعهاند، اما هنوز چالشهایی مانند کیفیت داده، پوشش فضای شیمیایی، عدم قطعیت، قابلیت انتقال و سازگاری فیزیکی پابرجاست.
۱۴. چرا این مدلها میتوانند بسیار سریع باشند؟
یک solver عددی کلاسیک در هر بار اجرا باید دستگاه معادلات حاصل از گسستهسازی را حل کند. هزینه این حل ممکن است با تعداد نقاط مش، تعداد گامهای زمانی، غیرخطی بودن معادلات و تعداد تکرارها افزایش یابد.
اما در Neural Operator آموزشدیده، مرحله inference عمدتاً شامل عملیات tensor، ضرب ماتریسی، convolution، message passing یا تبدیل فوریه است:
\[u_{\mathrm{pred}} = \mathcal{G}_{\theta}(a)\]هزینه اصلی قبلاً در مرحله آموزش پرداخت شده است. بنابراین، اگر قرار باشد تنها یک مسئله حل شود، آموزش یک مدل بزرگ معمولاً توجیه اقتصادی ندارد. اما اگر قرار باشد هزاران یا میلیونها بار پاسخ سیستم محاسبه شود، هزینه آموزش میتواند میان همه اجراها سرشکن شود.
این ویژگی در کاربردهای زیر اهمیت زیادی دارد:
- بهینهسازی چندهدفه
- طراحی معکوس
- کنترل بلادرنگ
- Digital Twin
- تحلیل حساسیت
- انتشار عدم قطعیت
- نمونهگیری مونتکارلو
- data assimilation
- بهینهسازی توپولوژی
- جستوجوی گسترده فضای طراحی
در چنین کاربردهایی، تفاوت میان یک شبیهسازی چندساعته و یک inference چندمیلیثانیهای یا چندثانیهای میتواند کل روش تحقیق یا طراحی را تغییر دهد. البته اعداد دقیق شتاب به مسئله، سختافزار، تفکیک، solver مرجع و معیار دقت وابستهاند و نباید یک مقدار گزارششده برای یک benchmark را به تمام مسائل تعمیم داد.
۱۵. آیا Neural Operator واقعاً معادله فیزیکی را «فهمیده» است؟
عبارتهایی مانند «مدل قانون فیزیک را یاد گرفته است» باید با احتیاط استفاده شوند.
در حالت دادهمحور، Neural Operator نگاشتی آماری را از نمونههای آموزشی تقریب میزند. اگر دادهها از یک PDE خاص تولید شده باشند، مدل ممکن است ساختارهای ناشی از آن PDE را در وزنهای خود جذب کند؛ اما این لزوماً به معنای فهم نمادین یا کشف صریح قانون فیزیکی نیست.
مدل ممکن است روی توزیع آموزشی عملکرد بسیار خوبی داشته باشد، اما در شرایط زیر شکست بخورد:
- عدد رینولدز بسیار فراتر از محدوده آموزش؛
- هندسهای کاملاً جدید؛
- تغییر نوع شرایط مرزی؛
- ورود یک ناپیوستگی یا شوک جدید؛
- تغییر فاز یا رژیم فیزیکی؛
- تغییر مقیاس طول یا زمان؛
- ترکیب مادهای خارج از داده آموزشی؛
- تغییر معادله حاکم.
بنابراین بهتر است گفته شود:
مدل تقریب دادهمحوری از عملگر حل را آموخته است.
نه اینکه الزاماً قوانین بنیادی طبیعت را به همان معنایی که در یک نظریه فیزیکی وجود دارند، کشف کرده است.
افزودن قیود فیزیکی، تقارنها، پایستگیها و ساختارهای هندسی میتواند قابلیت تعمیم را بهتر کند، اما هیچکدام جای ارزیابی خارج از توزیع و validation فیزیکی را نمیگیرند.
۱۶. تفاوت interpolation و extrapolation
بخش بزرگی از موفقیت این مدلها در فضای interpolation رخ میدهد.
فرض کنیم مدل روی محدوده زیر آموزش دیده باشد:
\[P\in[100,300]\ \mathrm{W}\] \[v\in[0.5,1.5]\ \mathrm{m/s}\]اگر ورودی جدید برابر باشد با:
\[P=220\ \mathrm{W}, \qquad v=1.0\ \mathrm{m/s}\]مدل درون محدوده آموزشی عمل میکند.
اما اگر ورودی جدید چنین باشد:
\[P=800\ \mathrm{W}, \qquad v=5\ \mathrm{m/s}\]ممکن است رژیم فیزیکی کاملاً تغییر کند. پدیدههایی مانند keyhole، تبخیر شدید، recoil pressure، جریان مارانگونی یا ناپایداری حوضچه مذاب ممکن است وارد مسئله شوند، درحالیکه در داده آموزشی وجود نداشتهاند.
مدل نمیتواند با اطمینان قانونی را که در داده یا قیود آن حضور نداشته است، بازسازی کند.
این مسئله در مدلهای بیناتمی نیز بسیار مهم است. یک پتانسیل عمومی ممکن است در ساختارهای تعادلی عملکرد خوبی داشته باشد، اما در محیطهای پرانرژی، شکست پیوند، عیوب نادر، سطوح واکنشپذیر یا ترکیبات خارج از توزیع دچار خطای جدی شود. مطالعات مربوط به پتانسیلهای بیناتمی عمومی نیز بر دشواری extrapolation قابل اعتماد تأکید کردهاند.
۱۷. مسئله پایستگی و سازگاری فیزیکی
یک پیشبینی میتواند از نظر خطای میانگین کوچک باشد، اما از نظر فیزیکی نادرست باقی بماند.
برای مثال، مدل ممکن است میدان سرعتی تولید کند که تقریباً شبیه پاسخ مرجع باشد، اما شرط تراکمناپذیری را نقض کند:
\[\nabla\cdot\mathbf{u}\neq0\]یا در انتقال حرارت، توازن انرژی را بهدرستی رعایت نکند:
\[\frac{d}{dt} \int_{\Omega} \rho C_pT,d\Omega \neq \dot{Q}_{\mathrm{in}}-\dot{Q}_{\mathrm{out}}\]یا در مکانیک، تنش و کرنش تولیدشده با روابط سازگاری یا شرایط تعادل منطبق نباشند:
\[\nabla\cdot\boldsymbol{\sigma}+\mathbf{b}\neq0\]به همین دلیل، تنها استفاده از خطای نقطهای مانند MSE کافی نیست. ارزیابی مدل باید شامل موارد زیر نیز باشد:
- باقیمانده PDE
- توازن جرم
- توازن انرژی
- توازن مومنتوم
- شرایط مرزی
- تقارنها
- مثبتبودن کمیتهای لازم
- قوانین ترمودینامیکی
- رفتار حدی
- پایداری زمانی
مدلهای Physics-Informed، Hamiltonian، symplectic، equivariant و conservative تلاش میکنند بخشی از این ساختارها را در معماری یا تابع هزینه وارد کنند.
۱۸. مسئله تجمع خطا در زمان
برای شبیهسازی سامانههای دینامیکی دو راهبرد اصلی وجود دارد.
پیشبینی مستقیم کل میدان زمانی
\[a(\mathbf{x}) \longrightarrow u(\mathbf{x},t)\]در این حالت، مدل میتواند کل مسیر زمانی را همزمان تولید کند.
پیشبینی autoregressive
\[u_t \longrightarrow u_{t+\Delta t}\]سپس خروجی هر مرحله بهعنوان ورودی مرحله بعد استفاده میشود:
\[u_0\rightarrow u_1\rightarrow u_2\rightarrow\cdots\rightarrow u_n\]روش autoregressive انعطافپذیر است، اما خطا میتواند در هر مرحله جمع شود. یک خطای کوچک در (u_1) وارد محاسبه (u_2) میشود و پس از تعداد زیادی گام، مسیر پیشبینیشده ممکن است از دینامیک واقعی فاصله بگیرد.
این مشکل در جریانهای آشفته، سامانههای chaotic، رشد ترک، حرکت مرزها و تحول ریزساختار اهمیت بیشتری دارد.
راهکارهای موردبررسی شامل موارد زیر هستند:
- آموزش چندگامی
- teacher forcing و scheduled sampling
- استفاده از time integratorهای صریح
- تصحیح فیزیکی در هر گام
- مدلهای چندمقیاسی زمانی
- data assimilation
- تخمین عدم قطعیت
- hybrid solverها
۱۹. عدم قطعیت؛ بخش فراموششده شبیهسازی عصبی
خروجی یک solver یادگیریمحور نباید بدون شاخص اعتماد استفاده شود.
میتوان عدم قطعیت را به دو بخش تقسیم کرد:
عدم قطعیت دادهای
این بخش ناشی از نویز، خطای اندازهگیری یا تغییرات ذاتی سیستم است.
عدم قطعیت معرفتی
این بخش ناشی از کمبود داده، محدودیت مدل یا ورود به ناحیهای خارج از توزیع آموزش است.
در کاربرد علمی، مدل باید بتواند تشخیص دهد چه زمانی پاسخ آن قابل اعتماد نیست. روشهایی مانند ensemble، Bayesian neural networks، conformal prediction، Monte Carlo dropout و مدلهای احتمالاتی میتوانند برای تخمین عدم قطعیت استفاده شوند.
یک surrogate solver سریع اما بیشازحد مطمئن میتواند خطرناکتر از یک solver کند باشد، زیرا ممکن است پاسخ نادرست را با ظاهری بسیار دقیق و صاف ارائه کند.
۲۰. رابطه این مدلها با solverهای کلاسیک
این تصور که Neural Operatorها قرار است بهطور کامل FEM، CFD، FDM، phase-field یا DFT را حذف کنند، تصویر دقیقی نیست.
در بیشتر کاربردهای جدی، این مدلها به یکی از شکلهای زیر به solverهای کلاسیک وابستهاند:
- داده آموزشی آنها توسط solver تولید میشود؛
- برای validation به حل عددی مرجع نیاز دارند؛
- در نواحی نامطمئن دوباره از solver استفاده میکنند؛
- بخشی از الگوریتم hybrid هستند؛
- برای fine-tuning یا active learning به داده جدید نیاز دارند.
رابطه آینده احتمالاً بیشتر شبیه همکاری خواهد بود:
\[\text{Classical Solver} + \text{Neural Surrogate} + \text{Experimental Data} + \text{Physical Constraints}\]برای مثال، میتوان Neural Operator را برای پیشبینی اولیه استفاده کرد و سپس پاسخ را با چند iteration از solver عددی اصلاح کرد. یا مدل میتواند نواحی بحرانی را شناسایی کرده و مش را بهصورت تطبیقی اصلاح کند. همچنین ممکن است تنها یک زیرمدل پرهزینه، مانند closure model، constitutive law یا chemistry source term، با شبکه عصبی جایگزین شود.
۲۱. از حل مستقیم به طراحی معکوس
شاید یکی از مهمترین پیامدهای surrogate solverها، امکان اجرای سریع مسئله معکوس باشد.
در مسئله مستقیم داریم:
\[a \xrightarrow{\mathcal{G}} u\]اما در مسئله طراحی معکوس، هدف آن است که برای پاسخ مطلوب $u^*$، ورودی مناسب پیدا شود:
\[a^* = \arg\min_a \left| \mathcal{G}(a)-u^* \right|^2\]برای مثال:
- چه مسیر اسکن لیزری میدان دمای یکنواختتری ایجاد میکند؟
- چه ریزساختار اولیهای به مورفولوژی نهایی مطلوب منجر میشود؟
- چه هندسهای توزیع تنش را کمینه میکند؟
- چه ترکیب شیمیاییای یک ساختار پایدار با خواص هدف تولید میکند؟
- چه شرایط مرزیای پاسخ موجی مشخصی ایجاد میکند؟
اگر هر ارزیابی $\mathcal{G}(a)$ به چند ساعت شبیهسازی نیاز داشته باشد، بهینهسازی دشوار خواهد بود. اما اگر Neural Operator پاسخ را در زمان بسیار کوتاه تولید کند، میتوان هزاران طرح را بررسی کرد.
علاوهبراین، اگر مدل differentiable باشد، میتوان گرادیان تابع هدف را نسبت به ورودی محاسبه کرد:
\[\frac{\partial J}{\partial a} = \frac{\partial J}{\partial u} \frac{\partial \mathcal{G}_\theta}{\partial a}\]این قابلیت، شبیهسازی را از یک ابزار صرفاً پیشبینیکننده به بخشی از یک سامانه طراحی خودکار تبدیل میکند.
۲۲. آیا آینده متعلق به یک مدل عمومی فیزیک است؟
ایده نهایی این مسیر، ساخت مدلی است که بتواند نه فقط یک PDE یا یک ماده، بلکه طیف گستردهای از سامانههای فیزیکی را نمایش دهد.
چنین مدلی در حالت آرمانی باید بتواند:
- هندسههای مختلف را دریافت کند؛
- میدانها و شرایط مرزی متنوع را پردازش کند؛
- میان چند مقیاس فیزیکی ارتباط برقرار کند؛
- دادههای تجربی و شبیهسازی را ترکیب کند؛
- تقارنها و قوانین پایستگی را رعایت کند؛
- عدم قطعیت خود را گزارش کند؛
- با داده محدود برای مسئله جدید سازگار شود؛
- و شاید از توصیف متنی، معادله یا نمودار نیز استفاده کند.
اما رسیدن به یک «مدل بنیادین عمومی برای فیزیک» بسیار دشوارتر از ساخت یک مدل زبانی است. دادههای فیزیکی ناهمگوناند، واحدها و مقیاسها متفاوتاند، معادلات انواع گوناگونی دارند، هندسهها ثابت نیستند و کوچکترین خطای سیستماتیک ممکن است در پیشبینی بلندمدت رشد کند.
همچنین در زبان، چند پاسخ متفاوت ممکن است قابلقبول باشند؛ اما در شبیهسازی فیزیکی، پاسخ باید با قوانین پایستگی، ابعاد، شرایط مرزی و داده تجربی سازگار باشد.
بنابراین، Foundation Simulation Modelها احتمالاً نه یک شبکه واحد جادویی، بلکه ترکیبی از اجزای زیر خواهند بود:
- operator learning
- graph neural networks
- geometric deep learning
- transformers
- differentiable solvers
- symbolic models
- physical constraints
- numerical integrators
- uncertainty quantification
- experimental calibration
۲۳. جمعبندی
تحول اصلی یادگیری ماشین در شبیهسازی علمی را میتوان در سه مرحله خلاصه کرد.
مرحله اول: پیشبینی property
\[\text{parameters} \longrightarrow \text{property}\]برای مثال:
\[(x_{\mathrm{Al}},T,t) \longrightarrow E_g\]در این مرحله، شبکه یک رگرسیون غیرخطی پیشرفته است.
مرحله دوم: تقریب یک میدان یا حل یک مسئله
\[(\mathbf{x},t) \longrightarrow u(\mathbf{x},t)\]PINNها نمونه مهم این مرحلهاند. شبکه پاسخ یک مسئله فیزیکی را بهصورت تابع پیوسته تقریب میزند و قوانین فیزیک را در آموزش وارد میکند.
مرحله سوم: یادگیری عملگر حل
\[\text{input function or field} \longrightarrow \text{solution field}\]برای مثال:
\[[k(\mathbf{x}),Q(\mathbf{x},t),BC] \longrightarrow T(\mathbf{x},t)\]در این مرحله، شبکه تلاش میکند نگاشت میان یک خانواده از ورودیهای تابعی و یک خانواده از پاسخهای فیزیکی را بیاموزد.
به همین دلیل، Neural Operator صرفاً پاسخ نمیدهد که «بیشینه دما چقدر است؟» یا «مقاومت ویژه ماده چیست؟». در صورت آموزش مناسب، میتواند کل میدان دما، فشار، سرعت، تنش یا ریزساختار را تولید کند و مانند یک surrogate solver مورد استفاده قرار گیرد.
بااینحال، این مدلها هنوز جایگزین بیقیدوشرط روشهای عددی نیستند. آنها درون محدوده داده و فیزیکی که دیدهاند بسیار قدرتمندند، اما در extrapolation، پایستگی، عدم قطعیت، هندسههای جدید، تغییر رژیم و پدیدههای چندمقیاسی با چالش روبهرو هستند.
اهمیت واقعی این تحول در آن نیست که «شبکه عصبی همه solverها را حذف خواهد کرد». اهمیت آن در این است که مرز میان مدل یادگیری ماشین و شبیهساز عددی در حال کمرنگشدن است.
شبکه عصبی دیگر تنها یک ابزار برای استخراج یک پارامتر از داده نیست. اکنون میتواند یک میدان را دریافت کند، یک عملگر فیزیکی را تقریب بزند و میدان پاسخ را تولید کند.
به بیان دقیقتر، هوش مصنوعی از یادگیری چند رابطه عددی عبور کرده و به سمت یادگیری ساختار نگاشتهای حاکم بر سامانههای فیزیکی حرکت کرده است.
و شاید شگفتانگیزترین بخش ماجرا همین باشد: مدل دیگر فقط نتیجه شبیهسازی را پیشبینی نمیکند؛ خود فرایند حل، به یک شیء قابل یادگیری تبدیل شده است.