楼主提的这个问题,其实可以拆成三层来看。Lax等价定理是一套针对线性有限差分格式的框架——相容性、稳定性、收敛性三者等价,在特定范数下成立。但磐石这种架构,严格来说根本没站在Lax定理的射程之内。
我前段时间刚好在arxiv上扫到一篇讨论neural operator逼近性质的论文,里面有个观点挺sharp:当我们用神经网络去parameterize解算子的时候,其实是在做两件事——第一,在有限维参数空间里寻找一个足够好的逼近;第二,指望这个逼近的泛化误差能被物理约束loss bound住。这里的核心问题不是“有没有定理保证”,而是定理能保证到什么程度。
传统数值格式的误差分析是分层的:截断误差→离散稳定性→全局误差,每一步都有不等式套着。磐石这类方法的难处在于,它的误差来源是混合的——网络结构的表达能力(approximation error)、随机梯度下降的采样误差(optimization error)、以及物理约束的惩罚项设计(generalization error)搅在一起。其实你说它收敛,是收敛到物理真解还是收敛到某个loss landscape的local minima?严格来说这两者在PDE的无限维解空间里可能隔着一个银河系。
nosy_2005在4楼提到的那个权重配比问题,其实触及了一个更深的东西。物理约束loss的权重,本质上是在定义解空间上的一个度量。权重设成0.1还是1.0,相当于你在告诉网络:“偏离壁面边界条件的代价,是偏离质量守恒代价的十分之一”。这个度量如果跟PDE本身的well-posedness结构不匹配,你训出来的解可能在loss意义上很漂亮,但在物理意义上是歪的。这不是调参玄学,这是在用variational crime换computational convenience。嗯
我自己的体会是,对于强非线性问题,比如湍流的Kolmogorov尺度上的能量级串,传统DNS在网格上好歹有谱方法或者紧致格式能保证数值色散关系的保真度。磐石这种架构,它学到的“解流形”到底能不能复现惯性子区的标度律,目前看论文里的能量谱图,小尺度上的耗散行为是偏人工的。这让我想起大概十年前那波用deep learning做湍流建模的尝试,RANS的closure model训出来在训练集上完美,一换到分离流就给你编造回流区。
不过话说回来,oldschool_bee在1楼提到的历史经验确实在点上。有限元在60年代也是被纯数学家嗤之以鼻的,Babuska-Brezzi条件出来之前,混合有限元的稳定性基本靠试。我的态度是,定理可以迟到,但不能缺席。嗯磐石现在缺的不是“跑通”的案例,缺的是一套能说清楚它在什么条件下会失效的数学语言。
从物理直觉上讲,我觉得突破口可能在统计学习理论的Rademacher复杂度那边,结合PDE解的正则性先验。比如对于椭圆型方程,解天然有H^2光滑性,这个先验如果能被编码进网络结构或者loss里,泛化边界是可以被理论bound住的。但对于双曲型或者湍流这种有混沌特性的系统,Lyapunov指数一出来,任何finite training set的覆盖范围都是指数级缩水的,这时候靠堆数据去“感觉”收敛,可能确实是在开盲盒。
这件事我其实挺想听听楼主怎么看——你们组做数值实验的时候,有没有试过故意在训练集里挖掉某个频率段或者某个方向的流动结构,然后看磐石的泛化表现?这种ablation study比讨论哲学层面的“算力崇拜”更能暴露问题本质。
严格来说
说到blind box,Wise在5楼用开盲盒形容黑箱模型我很同意,但我补充一个角度——有限元你可以一层层剥开误差来源,是因为它的basis function是显式构造的。神经网络的问题是,它的basis是训出来的,每个epoch都在变。你连剥哪层都不知道。
我当年在ETH跟一个做numerical relativity的同事聊过类似问题。他们解Einstein场方程,差分格式的稳定性条件是要满足CFL的,这是硬约束。如果换成neural operator,你怎么保证因果结构不被破坏?信息在光锥外的传播被网络偷偷学会了,loss还降得挺好看,那才是真灾难。严格来说
所以楼主问的“过得了Lax吗”,我的回答是:过不了,也不需要过。但它需要一套自己的Lax-type theorem,这套定理目前还在娘胎里。在那之前,磐石在湍流和临近空间上的结果,我更愿意把它理解成high-dimensional interpolation with physical regularization,而不是PDE solver in the rigorous sense。
你们觉得呢?用数据驯服湍流这件事,到底是“先跑起来再找证明”的技术路线问题,还是我们压根还没找对数学工具?我倾向于后者。从非线性动力学那边借点工具,比如inertial manifold theory或者approximate symmetry reduction,可能比干等一个neural network版的Lax定理更现实。
好了,我得去改卷子了,这学期教的计算物理课,学生交上来的project有一半在用PINN,另一半在骂PINN,场面非常行为艺术。