世界即函数

神经网络不寻找世界的函数,它直接逼近。从万能逼近定理到 KAN,再到两个可以亲手拖动的演示。

世界即函数 封面图

一个反直觉的说法

先抛结论:在数学意义上,我们身处的世界,可以被写成一堆函数的叠加。

你抬头看一片树叶落下,它的轨迹是一条函数;你听一段音乐,声波是时间的函数;你判断对面那个人是喜是怒,你的大脑在做一次从「像素」到「情绪」的映射——也是一个函数。物理学家几百年在做的事,说穿了就是一件事:找出描述世界的那个函数。

而过去十几年,人工智能做的事,是另一件事:不找函数,直接拟合函数。

这两句话之间的距离,就是这篇文章想讲的东西。

一张曲线被无数发光小段逐步逼近

万能逼近定理:神经网络的"底气"从哪来

深度学习能干活,不是因为它「聪明」,而是因为它站在一条数学定理上:万能逼近定理(Universal Approximation Theorem)。

这条定理的结论,用一句话讲:

只要隐层神经元足够多,一个前馈神经网络可以在任意精度上逼近任意连续函数。

注意它的分量。它不是说「神经网络能算很多东西」,而是说「神经网络几乎什么函数都能逼近」。1989 年,Cybenko 证明了单隐层、S 型激活函数的情形;1991 年,Hornik 进一步证明:激活函数的具体选择不是关键,多层多神经元的架构本身才是关键。

这就解释了一个很多人困惑的现象:为什么神经网络看起来像个「黑盒」,却能那么准地预测天气、识别图片、生成文字?

因为它本质上在干一件很朴素的事——给你一堆点,找出穿得过这些点的那条曲线。

数学上,一个单隐层网络可以写成:

f(x) = Σ vᵢ · σ(wᵢ · x + bᵢ)        i = 1 … N

其中 σ 是激活函数,wᵢ、bᵢ 是第 i 个神经元的权重和偏置,vᵢ 是输出层权重。每一项 σ(wᵢ·x + bᵢ) 就是一小块「基函数」,N 个叠加起来,就能拼出任意形状的曲线。

训练,就是不断微调这些 w 和 b,让拼出来的曲线离目标函数越来越近。

亲手试一下:什么叫"拟合"

下面这个演示干的就是这件事。左上是拟合过程:橙色虚线是真实规律,蓝色实线是模型当前的猜测,红色竖线是每个点的误差;把这些误差平方后取平均,就是右边的损失函数。点「重新训练」看它一步步靠近。

演示里有三个面板,值得各看一眼:

  • ① 拟合函数:模型曲线在数据点之间穿行。残差平方和从 0.435 一路降到 0.025,正好压到噪声下限(σ² = 0.0256)——再往下就是背噪声了。
  • ② 损失函数:每次迭代的 MSE,单调下降说明在收敛。如果它开始上下跳,就是学习率太大。
  • ③ 损失地形:把直线模型 y = a·x + b 的损失画成等高线,球是梯度下降的轨迹。曲面是凸的、只有一个谷底,球总能滚到全局最优——但它最低点的 MSE ≈ 0.44,是多项式模型(0.025)的 17 倍。

地形好走 ≠ 模型够用。这就是欠拟合。

但定理有两句没说的话

万能逼近定理很漂亮,可如果只看它的前半句,很容易误读。它有两句关键的话被讲得很少:

第一,它只说"存在",不说"怎么找"。 定理保证了「这样的网络存在」,但没说怎么通过训练找到它,也没说需要多少神经元、多少层。这是理论上的保证,工程上的空白——而这恰恰是深度学习这些年真正解决的问题。

第二,它只保证"在训练数据覆盖的区域内逼近",不管泛化。 网络能把训练样本完美穿起来,不代表它在没见过的数据上也能对。这正是过拟合的来源,也是为什么模型越宽越容易「背答案」。

所以「神经网络能拟合万物」这句话,是一种简化后的浪漫。真实情况是:理论上能,实践上要恰好够、又不能过头。

KAN:把函数从"边"上解放出来

2024 年 4 月,MIT 的 Ziming Liu 和 Max Tegmark 等人提出了一个新架构——Kolmogorov–Arnold Network(KAN),直接把 1957 年 Kolmogorov 与 Arnold 的老定理翻了出来。

它的想法,和传统网络正好反过来:

MLP(传统多层感知机)KAN(Kolmogorov–Arnold 网络)
可学习的对象边上的权重(数字)边上的函数(曲线)
节点激活函数固定(ReLU、Sigmoid 等)无可学习节点,激活在边上
可解释性黑盒可视化,能「看」出规律
逼近效率较宽的网络更小的网络就能达到同等精度

KAN 的核心思想是:不要用简单的数字权重去乘,而是给每条边配一个可学习的单变量函数(用样条参数化)。 这样每一层都在做「非线性函数的叠加」,而不是「线性变换 + 固定激活」。

Kolmogorov–Arnold 定理早就说了:任何多变量连续函数,都能拆成一堆单变量函数加起来的和:

f(x) = Σ_{q=0}^{2n} Φ_q ( Σ_{p=1}^{n} φ_{q,p}(x_p) )

这就是 KAN 的理论源头。

过去 35 年,这条定理被认为"不实用"——因为定理拆出来的单变量函数可能不光滑(带尖角),没法训。MIT 的 Poggio 在 1989 年甚至明确写过它「在学习的语境下无关紧要」。直到 2024 年这一改,把「函数放在边上」这件事做通了。

换一种看法:把函数画成一片枫叶

上面讲的都是「逼近」,下面换个角度——看一个函数长什么样。

数学里有个老套路:给一个函数 r(θ),让 θ 从 0° 扫到 360°,把每个角度上的函数值当成半径描点,连起来就得到一个封闭图形。图形什么形状,函数就是什么脾气。

下面这个函数,扫一圈之后长出来的是一片五角枫叶:

它的全部秘密就三行:

r(θ) = base + A · T(θ)^p + 叶柄(θ)

T(θ) = 1 − |2·frac( 5(θ−90°)/360° + 0.5 ) − 1|
base = 0.46    A = 0.94    p = 0.50

T(θ) 是一个周期为 72° 的三角波——波峰处 r 变大(裂片),波谷处 r 变小(凹口)。乘 5 个周期,就得到 5 个裂片、5 个凹口。指数 p 控制裂片的胖瘦:p 小,裂片宽而钝;p 大,裂片细而尖。最后在 θ = 270° 处加一个窄尖峰,就是叶柄。

拖动演示里的「采样点 N」滑块,能看到点从稀疏到稠密、轮廓从折线变光滑的过程——这就是"函数值连成图形"的字面意思。 拖「裂片高 A」和「叶柄」,形状会实时重算。

为什么这件事重要:从"黑盒"到"看得见规律"

KAN 最吸引人的地方,不是跑分,而是可解释。

传统网络学到的是一堆数字,你没法知道它「在想什么」。KAN 因为每条边就是一个单变量函数,你可以把它画出来——画出来的图,长得往往很像某条物理公式。

在数学和物理的例子里,KAN 能帮科学家重新发现已有的物理定律——比如把网络画出来,发现那条曲线恰好对应某个已知方程。这正是 Quanta Magazine 那篇报道反复强调的:KAN 的价值在于"从数据里提取科学规律",而不只是预测得准。

换句话说:MLP 擅长回答「下一个数是多少」,KAN 试图回答「世界的规则长什么样」。

复杂网络折叠成一条简洁曲线

再往外一步:世界模型与"函数"之争

把视角拉远,还有一个更大的命题。

图灵奖得主 Yann LeCun 这些年一直在讲世界模型(World Model)。他的核心主张是:智能的本质不是预测下一个 token,而是在内部建立起一个"世界如何演化"的模型——给定当前状态和某个动作,预测未来状态。

他用的工具叫能量模型(Energy-Based Model),来自统计物理:用「能量高低」衡量变量之间是否相容。这本质上还是在用函数刻画世界——只不过这个函数不再是「从输入到输出」,而是「从状态到代价」。

于是我们回到开头的那个说法:

  • 物理学家想找出世界的那个函数;
  • 神经网络不找出它,直接逼近它;
  • 世界模型想让机器自己长出那个函数;
  • KAN 想让那个函数变得看得见。

四条路,指向同一个地方。

但要说句实话

定理只管存在,不管找得到;能拟合,不等于能理解。

KAN 现在的短板也很清楚:训练比 MLP 贵、在大规模任务上还没证明优势、可解释性在复杂任务里会迅速退化。它是一把好用的「科学发现手术刀」,不是通用大模型的替代品。世界模型路线同样卡在长程规划、因果泛化、持续学习上。这些在 Quanta 和 LeCun 的路线上都被明确承认。

所以「“世界即函数"是不是真理」——在数学上,它是被证明的(Kolmogorov 1957);在工程上,它是被逼近的;在智能上,它只是一个正在被验证的假设。

能确认的是这一点:从万物到一条曲线,人类找了三百年;从一条曲线回到万物,我们才刚起步。


文中两个演示都是纯前端实现,无外部依赖,可离线运行。

如果觉得有帮助,欢迎来公众号「三木的知识花园」聊聊 👇

← 返回文章列表