今天的内容有点烧脑但绝对干货满满！

谷歌的一位大佬科学家 Peyman Milanfar 爆料了一个惊人的秘密：

有一个公式，让所有扩散模型成为可能。

这个公式的名字叫做 Tweedie 公式。

看到这个公式，估计很多同学已经开始头晕眼花了。

让我一步步来解密这个神奇的公式。

首先，我们假设 x 是 u 的一个带噪声版本，其中噪声 e 服从均值为0，方差为 σ² 的高斯分布。

所以我们有：

x = u + e

现在的问题是，如何从这个带噪声的 x 中恢复出原始的 u 呢？

按理说，我们需要知道 P(u|x)，也就是已知 x 的情况下 u 的概率分布。但是 Tweedie 公式告诉我们，只需要知道 P(x) 就够了！

这就好比你在玩一个猜数字的游戏。本来你以为需要知道对方心里想的是什么数字，但其实只要知道对方说出的数字就能反推出他心里的数字。是不是感觉有点玄学？

Peyman 进一步解释道：

Tweedie 是连接评分函数和 MMSE 去噪残差的关键。

他给出了一个更详细的公式：

σ²∇logP(x) = σ²∇P(x)/P(x) = E[u|x] - x

看起来更复杂了？

别慌！这里的关键在于 E[u|x]，这是一个特定的、通常难以获得的去噪器。

所以，我们用深度学习模型（比如 UNet）来替代它。

就这么简单！

现在，让我们来看看这个公式背后的有趣历史。

Tweedie 公式的诞生颇具戏剧性。Tweedie 本人并没有公开发表这个结果，而是私下通过一封信告诉了 Robbins。1956 年，Robbins 发表了这个结果，并将功劳归于 Tweedie。

有意思的是，这个公式在 1961 年被 Miyasawa 重新发现。这种"重复发现"在科学史上并不罕见，往往意味着这个发现确实有其重要性。

Maurice Tweedie，这个公式的始作俑者，是一位杰出的统计学家。他在统计学的多个领域都有重要贡献，而这个以他名字命名的公式，无疑是他最著名的成果之一。

那么，Tweedie 公式对我们普通开发者有什么意义呢？

1. 它让我们理解了扩散模型的核心原理。如果你正在开发或使用扩散模型，了解这个公式可以帮助你更深入地理解模型的工作机制。
2. 它展示了数学理论对实际应用的重要性。一个看似抽象的数学公式，竟然成为了现代AI技术的基石。
3. 它提醒我们，在AI领域，基础研究和应用开发同样重要。有时候，一个理论突破可能会带来一系列praktical 的应用。

最后，回到 Peyman 的原话：

有一个公式让所有扩散模型成为可能：Tweedie's

这句话确实道出了 Tweedie 公式在扩散模型中的核心地位。

它就像是扩散模型的"秘方"，也许你可能看不懂这个"菜谱"，但每次你使用扩散模型时，都在间接地用到这个公式。

你有理解到这个"秘方"的神奇吗？

文章来源于“AGl Hunt”，作者“JJJohn ”