1. 从“猜形状”到“猜方向”Score Matching到底在做什么想象一下你面前有一张白纸上面用铅笔点出了成千上万个点这些点密密麻麻地聚集在一起隐约形成了一个猫的形状。现在你的任务是只用这些点去猜出这只猫的轮廓线。传统的做法比如最大似然估计就像是让你去“猜”这只猫的完整画像。你需要先假设一个复杂的模型比如一个神经网络来生成整张图片的概率然后调整模型参数让模型认为这些观测到的点出现的“可能性”最大。但这里有个大麻烦为了计算这个“可能性”你通常需要知道一个叫“归一化常数”的东西它保证所有可能图片的概率加起来等于1。计算这个常数在高维空间里比如一张图片有成千上万个像素几乎是不可能完成的任务计算量太大了。而Score Matching得分匹配提供了一种巧妙的“偷懒”方法。它说我们别去猜整只猫的画像了太难。我们换个思路去猜这只猫轮廓上每一个点的切线方向。这是什么意思呢回到那堆点。在点最密集的地方比如猫的背部数据出现的概率最高在点很稀疏甚至没有点的地方比如白纸的边缘概率就很低。数据概率分布的梯度或者说“得分”Score就指向了概率增长最快的方向。在猫的轮廓边缘这个梯度方向大致就是垂直于轮廓线、指向轮廓内部的方向。如果我们能学会这个“梯度场”就等于知道了数据分布的“地形图”哪里是山峰高概率区哪里是山谷低概率区以及从任意一点出发应该朝哪个方向走才能走到概率更高的地方。所以Score Matching的核心目标就是训练一个模型比如神经网络让它直接学会输出这个梯度场即∇ₓ log p_data(x)。这里的 p_data(x) 就是我们未知的真实数据分布。一旦我们有了这个梯度场我们就可以从一个随机噪声点出发沿着梯度指引的方向即概率增加的方向一步步“走”回去最终走到一个高概率的数据点——这就生成了一个新的、符合原始数据分布的样本。这其实就是后来扩散模型和朗之万动力学采样的核心思想。我刚开始接触这个概念时也觉得有点绕但后来想明白了它其实是一种“曲线救国”。直接建模概率分布 p(x) 很难因为涉及归一化但建模它的对数梯度 ∇ log p(x) 却可以巧妙地避开这个难题因为梯度运算会把那个讨厌的归一化常数给消掉这就像是你想知道一个山坡的精确海拔地图概率分布很难但让你在山上任意位置感受一下最陡的上坡方向梯度反而更直接。2. 庖丁解牛Score Matching的数学内核与推导知道了Score Matching想干什么我们再来看看它具体是怎么做到的。这一部分会涉及一些公式但别怕我会用最直白的方式讲清楚。2.1 目标函数如何衡量“猜方向”的准确性我们的目标是让一个参数化的得分模型s_θ(x)尽可能接近真实的得分∇ₓ log p_data(x)。最直接的想法就是用均方误差MSE来衡量它们的差距J(θ) ½ E_{p_data(x)} [ || s_θ(x) - ∇ₓ log p_data(x) ||² ]这个公式非常直观对于真实数据分布中的每一个样本 x计算我们模型预测的梯度方向与真实梯度方向的差异然后求平方、取平均。我们的任务就是找到一组模型参数 θ让这个差异 J(θ) 最小。但问题来了这个目标函数是“不实用”的。因为我们根本不知道真实的 ∇ₓ log p_data(x) 是什么p_data(x) 本身就是我们想要学习的东西它的梯度更是无从知晓。如果我们已经知道了真实梯度那还学个啥呢所以这个目标函数虽然思想正确却无法直接用于训练。2.2 神来之笔通过分部积分消去未知项Score Matching的开创性工作就在于它通过一次巧妙的数学变换把上面那个依赖未知真实分布的目标函数转化成了一个只依赖于我们模型 s_θ(x) 和样本数据 x 的表达式。经过推导这里省略复杂的积分过程关键在于利用了分部积分和概率密度积分为1的性质原目标函数可以等价地转化为J(θ) E_{p_data(x)} [ tr(∇ₓ s_θ(x)) ½ || s_θ(x) ||² ] constant这个公式就是Score Matching的核心实践公式。让我们来拆解一下E_{p_data(x)}表示对来自真实数据分布的样本 x 求期望。在实践中这就是用我们数据集中的样本进行平均。|| s_θ(x) ||²这是我们模型预测的得分向量的L2范数平方。这一项鼓励模型的输出不要太大起到一定的正则化作用。tr(∇ₓ s_θ(x))这是整个公式的“灵魂”也是计算上的主要负担。它表示得分模型 s_θ(x) 的雅可比矩阵Jacobian的迹trace。雅可比矩阵记录了 s_θ(x) 的每一个输出分量对输入 x 的每一个分量的偏导数。求迹就是求这个矩阵对角线元素的和。为什么这个变换是革命性的因为它完全摆脱了对真实数据分布 p_data(x) 或其梯度的依赖。我们现在只需要从数据集中采样一批真实样本 x。将它们输入我们的得分模型 s_θ(x)得到输出向量。计算这个输出向量的范数平方。计算这个输出向量关于输入 x 的雅可比矩阵的迹。前三点都很容易。最大的挑战在第四点计算雅可比矩阵的迹。对于一个维度为 D 的输入 xs_θ(x) 也是一个 D 维向量其雅可比矩阵是一个 D×D 的矩阵。直接计算这个矩阵然后求迹计算复杂度是 O(D²)这对于高维数据如图像D 可能为 262144512×512来说是根本无法承受的。这就引出了Score Matching在实际应用中面临的主要瓶颈也催生了它的几个重要变体。3. 破解高维诅咒Denoising Score Matching 的实践智慧直接计算雅可比矩阵的迹太贵了怎么办研究者们想出了两个主流办法切片得分匹配Sliced Score Matching和去噪得分匹配Denoising Score Matching, DSM。其中DSM因其优雅和高效成为了后来扩散模型家族的基石。这也是我们今天重点要搞懂的部分。3.1 核心思想给数据加点“噪声”就能柳暗花明DSM的思路非常巧妙既然直接估计干净数据 p_data(x) 的得分有困难那我们不如先给数据加点可控的噪声然后去估计这个噪声扰动后数据分布的得分。具体怎么做呢我们选择一个简单的噪声分布通常是高斯噪声。对于每一个干净数据样本 x我们生成一个带噪样本 x̃x̃ x σ * ϵ, 其中 ϵ ~ N(0, I)这里 σ 是一个控制噪声大小的标量。这意味着加噪后的样本 x̃ 服从以 x 为中心、方差为 σ² 的高斯分布x̃ | x ~ N(x, σ²I)。现在我们不再要求模型 s_θ 去匹配干净的、未知的 ∇ log p_data(x)而是让它去匹配一个已知的、有解析形式的分布梯度∇_{x̃} log q_σ(x̃ | x)。这里 q_σ(x̃ | x) 就是我们刚刚定义的高斯条件分布。为什么这就简单了因为对于高斯分布N(x, σ²I)其对数的梯度有一个极其简单的形式∇_{x̃} log q_σ(x̃ | x) - (x̃ - x) / σ²你看这个“目标答案”变得非常简单它只依赖于加噪样本 x̃、原始样本 x 和噪声水平 σ。我们完全知道了它是什么。因此DSM的优化目标就变成了ℓ(θ; σ) ½ E_{p_data(x)} E_{ϵ~N(0,I)} [ || s_θ(x̃) (x̃ - x)/σ² ||² ]把x̃ x σϵ代进去目标进一步简化为ℓ(θ; σ) ½ E_{p_data(x)} E_{ϵ~N(0,I)} [ || s_θ(x σϵ) ϵ/σ ||² ]3.2 实践解读一个可计算的损失函数这个公式的美妙之处在于它彻底绕过了雅可比矩阵迹的计算变成了一个标准的、易于计算的均方误差问题。我们可以用以下步骤进行训练数据准备从训练集中取一个批量batch的干净数据x。加噪为这个批量中的每一个x随机采样一个标准高斯噪声ϵ并选择一个噪声水平σ计算加噪数据x̃ x σ * ϵ。前向传播将加噪数据x̃和噪声水平σ有时需要输入给模型送入得分网络s_θ得到预测的得分s_θ(x̃, σ)。计算损失计算预测得分s_θ(x̃, σ)与“目标得分”-ϵ/σ之间的均方误差。注意根据公式∇ log q -(x̃-x)/σ² -ϵ/σ所以目标就是-ϵ/σ。反向传播与优化根据损失计算梯度更新网络参数 θ。这个过程清晰明了和训练一个普通的回归网络没有本质区别。网络s_θ的任务就是看到一个被噪声污染的数据点 x̃以及知道污染的程度 σ然后预测出为了“去噪”所需要移动的负方向即 -ϵ/σ。3.3 噪声水平 σ 的学问从单一到多重你可能会问这个噪声水平 σ 应该怎么选这里大有讲究。如果 σ 太小加噪后的数据分布q_σ(x̃)非常接近原始分布p_data(x)。这听起来很好但问题在于原始数据往往只存在于一个低维流形上比如所有真实图片在像素空间构成的复杂曲面。在流形之外的低概率区域几乎没有训练样本我们的得分网络在这些区域就学不到有效的梯度信号。这会导致后续用朗之万动力学采样时一旦初始点落在低概率区采样过程会很不稳定或难以收敛到高质量样本。如果 σ 太大加噪后的数据分布会被过度平滑丢失掉原始数据的很多细节特征。学到的得分场会过于简单虽然采样容易了但生成的数据会模糊、缺乏细节。为了解决这个矛盾实践中广泛采用“多尺度噪声”或“噪声等级序列”的策略。我们不是用一个 σ而是用一组从小到大排列的噪声水平{σ₁, σ₂, ..., σ_L}其中 σ₁ 很小σ_L 很大。在训练时对于每一个训练样本对 (x, ϵ)我们不仅随机采样 ϵ还随机从这组噪声水平中采样一个 σ_i。这样模型就被迫同时学习处理各种“模糊程度”的数据。损失函数也相应地变为所有噪声水平上损失的加权和L(θ) (1/L) Σ_{i1}^{L} λ(σ_i) * ℓ(θ; σ_i)其中λ(σ_i)是一个权重函数通常用来平衡不同噪声水平的贡献常见的选择是λ(σ) σ²以均衡不同尺度下的学习信号。这种多尺度训练让模型掌握了“全尺度”的得分信息大σ对应数据的宏观轮廓和结构小σ对应微观的纹理和细节。这为后续生成清晰、连贯的样本奠定了坚实基础。4. 从理论到代码动手实现一个Score Matching模型理论说了这么多不写代码都是纸上谈兵。下面我们就用PyTorch来实现一个最基础的Denoising Score Matching模型用于学习一个简单二维混合高斯分布的得分函数。这个例子虽小但能让你看清所有关键环节。4.1 构建一个简单的得分网络我们的数据是二维的所以网络输入输出都是2维。网络结构可以很简单就是一个多层感知机MLP。import torch import torch.nn as nn import torch.optim as optim import numpy as np import matplotlib.pyplot as plt class ScoreNetwork(nn.Module): 一个简单的得分网络输入是带噪数据x和噪声水平sigma输出是得分s_theta(x, sigma)。 def __init__(self, input_dim2, hidden_dims[128, 128, 128]): super().__init__() layers [] prev_dim input_dim 1 # 输入维度 1用于传入sigma for hidden_dim in hidden_dims: layers.extend([ nn.Linear(prev_dim, hidden_dim), nn.SiLU(), # SiLU (Swish)激活函数在扩散模型中很常用 ]) prev_dim hidden_dim layers.append(nn.Linear(prev_dim, input_dim)) # 输出层维度与输入相同 self.net nn.Sequential(*layers) def forward(self, x, sigma): Args: x: 带噪数据形状 [batch_size, input_dim] sigma: 噪声水平形状 [batch_size, 1] 或标量 Returns: s_theta: 预测的得分形状 [batch_size, input_dim] # 将sigma作为特征拼接到输入中让网络感知噪声强度 if not isinstance(sigma, torch.Tensor): sigma torch.tensor(sigma, devicex.device) if sigma.dim() 0: sigma sigma.view(1, 1).expand(x.size(0), 1) elif sigma.dim() 1: sigma sigma.unsqueeze(1) # [batch_size] - [batch_size, 1] net_input torch.cat([x, sigma], dim1) return self.net(net_input)4.2 实现DSM损失函数根据我们推导的公式损失函数就是预测得分与目标-ϵ/σ的均方误差。def dsm_loss(score_net, x_clean, sigmas): 计算去噪得分匹配DSM损失。 Args: score_net: 得分网络模型 x_clean: 干净数据样本形状 [batch_size, dim] sigmas: 噪声水平形状 [batch_size] 或标量 Returns: loss: 标量损失值 batch_size, dim x_clean.shape # 1. 采样随机噪声 epsilon torch.randn_like(x_clean) # ϵ ~ N(0, I) # 确保sigmas形状正确 [batch_size] if isinstance(sigmas, float) or (isinstance(sigmas, torch.Tensor) and sigmas.dim() 0): sigmas torch.full((batch_size,), sigmas, devicex_clean.device) elif sigmas.dim() 1 and len(sigmas) batch_size: pass else: raise ValueError(sigmas shape not compatible.) # 2. 构造加噪样本 x_tilde x σ * ϵ sigmas_reshaped sigmas.view(-1, 1) # [batch_size, 1] 用于广播 x_noisy x_clean sigmas_reshaped * epsilon # 3. 网络预测得分 s_theta(x_noisy, sigma) predicted_score score_net(x_noisy, sigmas) # 形状 [batch_size, dim] # 4. 目标得分 target -ϵ / σ target_score -epsilon / sigmas_reshaped # 形状 [batch_size, dim] # 5. 计算均方误差损失 loss 0.5 * ((predicted_score - target_score) ** 2).sum(dim1).mean(dim0) return loss4.3 准备数据与训练循环我们用一个由四个高斯分布混合而成的“双月牙”形数据作为例子。def generate_moon_data(batch_size): 生成一个简单的二维混合高斯数据类似两个新月形 angle np.random.uniform(0, np.pi, sizebatch_size) radius 1.0 np.random.normal(0, 0.1, sizebatch_size) x radius * np.cos(angle) y radius * np.sin(angle) # 将一半数据点翻转到另一侧并平移形成两个“月牙” flip np.random.randint(0, 2, batch_size).astype(bool) x[flip] -x[flip] 2.5 y[flip] -y[flip] data np.stack([x, y], axis1).astype(np.float32) # 添加一些随机扰动 data np.random.normal(0, 0.05, data.shape) return torch.from_numpy(data) # 训练参数 batch_size 512 epochs 5000 lr 1e-3 # 定义一组噪声水平从小到大多样化 sigma_list torch.tensor([0.01, 0.05, 0.1, 0.2, 0.5, 1.0]) # 初始化模型和优化器 device torch.device(cuda if torch.cuda.is_available() else cpu) model ScoreNetwork(input_dim2).to(device) optimizer optim.Adam(model.parameters(), lrlr) loss_history [] print(开始训练...) for epoch in range(epochs): # 生成一批数据 x_data generate_moon_data(batch_size).to(device) # 为每个样本随机选择一个噪声水平 sigma_choices sigma_list[torch.randint(0, len(sigma_list), (batch_size,))].to(device) # 计算损失 loss dsm_loss(model, x_data, sigma_choices) # 反向传播 optimizer.zero_grad() loss.backward() optimizer.step() loss_history.append(loss.item()) if epoch % 500 0: print(fEpoch {epoch}, Loss: {loss.item():.6f}) print(训练完成)4.4 可视化学习到的得分场训练完成后我们最直观的验证方法就是看看模型学到的“得分场”是什么样子。def plot_score_field(model, sigma0.1): 在二维网格上可视化模型预测的得分向量场 model.eval() x np.linspace(-2, 4, 20) y np.linspace(-2, 2, 20) X, Y np.meshgrid(x, y) grid_points np.stack([X.ravel(), Y.ravel()], axis1).astype(np.float32) grid_tensor torch.from_numpy(grid_points).to(device) with torch.no_grad(): # 为所有网格点使用相同的sigma sigma_tensor torch.full((grid_tensor.size(0),), sigma, devicedevice) scores model(grid_tensor, sigma_tensor).cpu().numpy() U scores[:, 0].reshape(X.shape) V scores[:, 1].reshape(Y.shape) plt.figure(figsize(10, 8)) # 绘制向量场 plt.quiver(X, Y, U, V, colorblue, alpha0.6, scale30, width0.003) # 生成一些干净数据点叠加显示 sample_data generate_moon_data(200).numpy() plt.scatter(sample_data[:, 0], sample_data[:, 1], cred, s10, alpha0.5, labelData Samples) plt.title(fLearned Score Vector Field (σ{sigma})) plt.xlabel(x) plt.ylabel(y) plt.axis(equal) plt.grid(True, alpha0.3) plt.legend() plt.show() # 选择一个噪声水平进行可视化例如 σ0.1 plot_score_field(model, sigma0.1)运行这段代码你会看到一张图红色的点是我们的训练数据分布两个月牙形蓝色的箭头是模型预测的得分向量。你会发现箭头大致都指向最近的数据密集区域。在数据点内部箭头幅度小且方向混乱概率高梯度平缓在数据点外围的空白区域箭头清晰地从外部指向数据区域。这个向量场就是我们学习到的、关于数据分布的“指南针”。4.5 利用得分场进行采样生成有了得分场我们就可以进行朗之万动力学采样Langevin Dynamics从一个随机噪声点出发“走”回数据分布中。def langevin_sampling(model, initial_points, steps1000, step_size0.01, sigma0.1, noise_scale0.005): 使用朗之万动力学进行采样。 Args: model: 训练好的得分网络 initial_points: 初始噪声点形状 [num_samples, dim] steps: 迭代步数 step_size: 步长 sigma: 采样时使用的噪声水平需与训练时某个水平一致 noise_scale: 每步添加的噪声标准差用于探索 Returns: samples: 生成的样本 trajectory: 采样轨迹用于可视化 model.eval() x initial_points.clone().to(device) trajectory [x.cpu().numpy().copy()] sigma_tensor torch.full((x.size(0),), sigma, devicedevice) for i in range(steps): with torch.no_grad(): score model(x, sigma_tensor) # 预测当前点的得分梯度方向 # 朗之万更新规则: x_{t1} x_t (step_size/2) * score sqrt(step_size) * z_t # 这里做了简化x x step_size * score noise x x step_size * score # 添加噪声以跳出局部极小值 x x torch.randn_like(x) * noise_scale if i % 100 0: trajectory.append(x.cpu().numpy().copy()) trajectory.append(x.cpu().numpy().copy()) return x, trajectory # 从随机分布开始采样 num_samples 500 initial_noise torch.randn(num_samples, 2) * 2 # 从较广的分布开始 generated_samples, traj langevin_sampling(model, initial_noise, steps800, step_size0.05, sigma0.1) # 可视化采样结果和轨迹 plt.figure(figsize(15, 5)) plt.subplot(1, 3, 1) # 绘制初始噪声点 plt.scatter(initial_noise[:, 0], initial_noise[:, 1], s5, alpha0.6, cgray, labelInitial Noise) plt.title(Initial Random Points) plt.axis(equal) plt.grid(True, alpha0.3) plt.subplot(1, 3, 2) # 绘制部分采样轨迹 for i in range(0, min(10, num_samples)): traj_i np.array([step[i] for step in traj]) plt.plot(traj_i[:, 0], traj_i[:, 1], o-, linewidth0.5, markersize1, alpha0.5) plt.title(Sampling Trajectories (First 10 points)) plt.axis(equal) plt.grid(True, alpha0.3) plt.subplot(1, 3, 3) # 绘制最终生成的样本 plt.scatter(generated_samples[:, 0].cpu(), generated_samples[:, 1].cpu(), s5, alpha0.6, cgreen, labelGenerated Samples) # 叠加一些真实数据作为对比 real_data generate_moon_data(200).numpy() plt.scatter(real_data[:, 0], real_data[:, 1], s5, alpha0.4, cred, labelReal Data) plt.title(Generated vs Real Data) plt.axis(equal) plt.legend() plt.grid(True, alpha0.3) plt.tight_layout() plt.show()运行这段代码你会看到三张图第一张是随机初始化的噪声点第二张展示了其中几个点如何随着朗之万动力学迭代沿着得分场指引的方向“流动”第三张图将最终生成的样本绿色与真实数据红色进行对比。你会发现尽管起点是随机的但最终生成的样本点很好地聚集在了两个月牙形的真实数据分布区域。这就是Score Matching生成能力的直观证明。5. 超越基础Score Matching在现代生成模型中的核心角色如果你觉得上面的二维例子只是玩具那就大错特错了。Score Matching的思想正是当今最强大的生成模型——扩散模型Diffusion Models——的理论基石。可以说理解了Score Matching你就拿到了理解扩散模型内核的钥匙。5.1 与扩散模型的深刻联系在Denoising Score Matching中我们用一个固定的噪声水平 σ 对数据加噪。而扩散模型则将这个思想推向了极致它使用一个从0到T逐渐增大的噪声水平序列 {σ_t}对数据进行连续多次的加噪直到数据完全变成高斯噪声。这个过程称为前向过程或扩散过程。相应地扩散模型训练一个网络通常称为“噪声预测网络” ϵ_θ去预测每一步添加到数据中的噪声。这和我们DSM中预测-ϵ/σ的目标惊人地相似。事实上它们之间存在一个简单的等价关系s_θ(x_t, t) ≈ - ϵ_θ(x_t, t) / σ_t其中x_t是第t步的带噪数据ϵ_θ是扩散模型预测的噪声。这个公式清晰地表明扩散模型预测的噪声本质上就是负的得分向量乘以噪声水平。因此训练扩散模型的过程就是在用一种更精巧、多尺度的方式执行去噪得分匹配。5.2 应对复杂数据分布的挑战与技巧在实际处理像ImageNet这样的高维复杂图像数据时直接应用基础的Score Matching会遇到几个棘手问题而现代研究也给出了解决方案流形假设与低密度区问题真实图像数据通常位于高维空间中的一个低维流形上。在流形之外数据概率几乎为零。这些区域在训练时没有样本导致得分网络在这些区域的行为是未定义的或错误的。朗之万采样一旦进入这些区域就会迷失方向。解决方案多尺度噪声扩散模型的前向过程本质就是为了解决这个问题。大噪声将数据“推离”狭窄的流形填充低概率区域使得分信号在整个空间都有定义。采样时从大噪声开始逐步降噪引导样本从广阔空间回到数据流形。得分估计的尺度问题不同噪声水平 σ 下得分的量级差异很大回想一下目标-ϵ/σ当σ很小时目标值会非常大。这会导致训练不稳定。解决方案对网络结构或训练目标进行参数化重整化。一种常见做法是让网络预测一个“速度场v”或“噪声ϵ”而不是原始的得分s。另一种是使用条件批归一化Conditional Batch Norm或自适应组归一化AdaGN将噪声水平σ的信息注入到网络的每一层帮助网络自适应地调整输出尺度。采样效率与质量基础的朗之万动力学采样可能收敛慢或产生模式混合不足的问题。解决方案发展出更先进的采样器如预测-校正采样器Predictor-Corrector Samplers、概率流ODEProbability Flow ODE以及SDE求解器。这些方法利用学习到的得分场构建了一个确定性的或随机性的微分方程通过数值求解这个方程可以用更少的步数、更高的质量从噪声中采样出数据。像DDIM、DPM-Solver等加速采样算法都是基于这一思想。5.3 在更广阔领域的应用展望Score Matching的思想远不止于图像生成。它的核心——学习一个分布的梯度场——是一个强大的工具可以应用于任何需要建模复杂概率分布的场景音频与视频生成将音频波形或视频帧视为高维数据点用基于得分匹配的扩散模型进行生成。分子设计与材料科学将分子结构如图或3D坐标编码为数据学习化学空间中的得分场从而生成具有特定性质的新分子。强化学习与规划将得分场视为“能量”的负梯度可以引导智能体朝着高回报低能量的状态行动。异常检测正常数据的得分场是已知的。对于一个新样本如果其得分梯度与学习到的场差异巨大则可能属于异常。在我自己的项目经验里第一次成功用Score Matching思想复现一个简单的图像扩散模型时那种“通了”的感觉非常深刻。它不像GAN那样需要对抗训练的微妙平衡也不像VAE那样需要对后验分布进行近似。它提供了一条相对直接尽管计算量不小的路径定义噪声过程训练一个去噪网络然后通过迭代去噪进行生成。这种概念的简洁性和强大的效果是它能够迅速成为生成模型主流范式的根本原因。踩过最大的一个坑就是在早期尝试时忽略了多尺度噪声的重要性只用了一个很小的σ训练。结果模型在训练集上损失降得很低但采样时完全失败生成的都是无意义的模糊团块。后来才明白小噪声只教会了模型在数据流形附近“微调”而大噪声才是教会模型如何从“远方”找到回家路的全局导航。这个教训让我深刻体会到在Score Matching中噪声调度Noise Schedule不是一个可调超参而是方法成功与否的关键结构设计。