肖宿把这几条线在笔记本上列了出来,还在旁边画了几个箭头,标注出了各自的瓶颈。
代理模型:维数灾难,计算量爆炸。
元启发:无理论保证,收敛慢。
端到端:训练数据依赖,泛化难证。
他盯着这几行字看了很久。
都是好思路,也都在各自的赛道上做出了成果。
但肖宿总觉得,它们缺了点什么。
缺的是对问题本身结构的理解。
这些方法都是在“解”上做文章。
怎么搜索更快,怎么采样更聪明,怎么拟合更准。
但它们很少去问,这个待解的优化问题,它本身有什么内在的性质?
有没有什么是不变的?
有没有什么对称性?
就像解微分方程,你对着一个方程硬算可能算到天荒地老。
但如果能发现它是某个守恒系统的欧拉-拉格朗日方程,立刻就能用变分原理把它简化一大半。
优化问题也一样。
肖宿想起之前读过的李群和李代数的内容。
群论研究的是对称性,在某种变换下保持不变的性质。
如果一个系统具有对称性,那么它的解必然落在某些特定的轨道上。
这些轨道的结构,比整个空间简单得多。
工业场景里的那些高维耦合数据,真的完全随机吗?
不是的。
设备的运行参数之间,一定有某种物理规律在约束。
生产流程的数据,一定有因果链条在驱动。
即使是看起来最混乱的噪声,也可能有某种统计上的不变性。
如果能找到这些不变性,用它们把高维空间“分层”“分叶”,把一个大问题拆解成一系列低维子问题的组合……
肖宿的笔尖停在纸上。
这就是他在会议室里没来得及细想的方向。
叶状结构是微分几何里的一个概念,描述如何把一个高维流形分解成若干低维的“叶子”,每片叶子内部光滑,叶子之间不相交。
他之前已经运用这个方法解决了几个课题的难点,但是没有想过运用到这个问题上。
如果能构造出这样一个结构,让优化问题的局部最优解落在不同的叶子上,全局最优解落在某片特定的叶子上,那就可以先找叶子,再找叶子上的点。
搜索空间被压缩了。
从整个高维空间,压缩到几片低维流形上。
肖宿在笔记本上写下一个词:叶状结构。
又写下另一个词:李群作用