香港科技大学发现，所谓的"自监督学习"其实是在变相扩充训练数据

这项由香港科技大学、香港学习训练浙江工业大学和百度联合开展的科技扩充研究，以预印本形式发布于2026年7月2日，大学的自论文编号为arXiv:2607.02508。发现感兴趣的所谓数据技术读者可通过该编号获取完整论文及代码。

要理解这项研究的监督核心突破，不妨先从一个烹饪比喻入手。其实假设你正在训练一名厨师学徒，变相有两种加速其成长的香港学习训练方法：第一种是让学徒反复练习同一道菜，但每次都由资深厨师在一旁指导，科技扩充通过模仿提升技艺；第二种则是大学的自让学徒观察同一道菜在不同烹饪阶段的状态——生、半熟、发现全熟，所谓数据通过积累多样化的监督视觉经验来加深理解。前者依赖“协作”，其实后者依赖“阅历”。

在AI图像生成领域，特别是针对“扩散变换器”（Diffusion Transformer, DiT）的训练中，正存在着类似的争论。近期备受关注的SRA和Self-Flow两种训练方法，均属于“表征对齐”技术，旨在让AI在生成图像的同时深化对图像语义的理解。

SRA作为先行者，其核心机制是模型内部的“层级蒸馏”：让处于高噪声（模糊）状态的浅层网络向低噪声（清晰）状态的深层网络学习，如同模糊监控下的侦探参考高清视频同事的判断。这种机制完全依赖模型内部交互，无需外部工具。

Self-Flow则在SRA基础上引入了“双时间步调度”。比喻而言，SRA是让学徒看“半熟”的菜，而Self-Flow则是让学徒同时看到“生”和“快熟”的食材。在技术实现上，这意味着同一张图片的不同像素块（Token）被添加不同程度的噪声，清晰块与模糊块共存于同一次训练中。研究者原以为，清晰块能帮助模糊块推断内容，从而实现高效的自我监督。实验初期也证实Self-Flow优于SRA。

然而，香港科技大学团队提出了一个根本性质疑：Self-Flow的性能提升，究竟源于“清晰与模糊块的交互学习”，还是仅仅因为模型见识了更多样化的数据状态（即变相的数据增强）？

一、实验设计：用“注意力分离”切断交互，验证假设

为了厘清这一因果关系，研究团队设计了一种名为“注意力分离”（Attention Separation）的实验工具。

在现代AI的注意力机制中，图像的所有像素块通常都能互相参考。注意力分离通过在数学层面构建“屏蔽矩阵”，对不同噪声等级的像素块施加“负无穷大”的注意力权重，从而在逻辑上切断它们之间的信息交流。

这一设计的精妙之处在于：
1. 保留数据多样性：输入图像依然包含不同噪声等级的像素块，双时间步的“多样性”未被破坏。
2. 切断交互可能：不同噪声等级的像素块无法互相参考，仅能在同组内交流。

这相当于在开放式办公室安装隔断，保留了“看到多种状态”的机会，但消除了“状态间互助”的可能。如果性能下降，则证明交互是关键；如果性能不变或提升，则证明数据多样性才是核心。

实验结果出人意料：
在ImageNet数据集上使用SiT-B模型进行80万步训练：
* 全局注意力（允许交互）：FID 25.19，IS 66.75
* 注意力分离（切断交互）：FID 25.06（更优），IS 72.94（大幅更优）

切断跨噪声等级的互动后，模型性能不降反升。这直接推翻了Self-Flow原论文中关于“清晰块辅助模糊块推断”的解释。真正的驱动力是数据增强：模型通过同时呈现同一图片的不同噪声状态，获得了更丰富的训练分布，而非复杂的交互学习。

二、深度解析：注意力分离本身也是一种数据增强

研究并未止步于此。团队进一步发现，即使在“单时间步”（所有像素块噪声等级相同）的情况下，单独引入注意力分离也能显著提升性能（IS从63.86提升至71.62）。

这是因为注意力分离将图像切分为多个局部视角（如左半部分和右半部分独立处理）。在共享参数的情况下，模型在一次训练中同时优化了多个局部视角的重建能力。这与机器学习中的经典数据增强技术（如CutMix、MAE）逻辑一致：通过限制单次看到的完整信息量，迫使模型从局部线索中重建全局语义。

因此，研究得出统一结论：
* 双时间步调度：沿“噪声维度”的数据增强，扩充了噪声分布的多样性。
* 注意力分离：沿“视角维度”的数据增强，扩充了内容覆盖的多样性。

两者本质上都是更聪明的数据增强手段，而非复杂的交互机制。

三、参数调优：平衡遮盖比例以解决训练-推理不一致

在注意力分离中，关键参数是遮盖比例 $\alpha$（即不同组别像素块的比例）。

• 全局注意力下：$\alpha$ 的变化不影响基本结论，只要存在噪声多样性，模型即可受益。
• 注意力分离下：$\alpha$ 的影响显著。
• 当 $\alpha = 0.25$ 时，效果最佳（IS 72.94）。
• 当 $\alpha = 0.50$ 时，FID急剧恶化至38.19。

原因分析：
当 $\alpha = 0.50$ 时，训练阶段模型只能看到图像的一半信息（局部视角），而推理阶段模型使用全局注意力（完整视角）。这种巨大的“训练-推理不一致性”导致模型在测试时无法适应全局信息，产生性能崩塌。

解决方案：混合训练
研究团队提出在每个批次中混合使用两种策略：25%的样本使用正常全局注意力训练，75%的样本使用双时间步+注意力分离。
* 在 $\alpha = 0.50$ 时，混合训练使FID从38.19恢复至24.15，接近最优水平。
* 在 $\alpha = 0.25$ 时，由于局部视角已覆盖大部分信息，混合训练的增益较小。

四、最终战绩：简单组合超越复杂机制

研究团队将上述发现整合为统一训练方案：
1. 保留SRA的内部自对齐目标。
2. 叠加双时间步调度（噪声维度数据增强）。
3. 叠加注意力分离（视角维度数据增强）。
4. 设置 $\alpha = 0.25$ 以避免训练-推理偏差。

性能对比（ImageNet 256×256，400万步）：
* 基础SiT：FID 2.06, IS 270.3
* SRA：FID 1.58, IS 311.4
* Self-Flow：FID 1.47, IS 305.4
* 本研究方案：FID 1.44, IS 315.3

性能对比（ImageNet 512×512，100万步）：
* 本研究方案：FID 2.08, IS 282.7（IS为所有方法最高，FID并列最优）
* 基础SiT：FID 2.62（需300万步）

该方案在不增加模型复杂度、不引入外部预训练编码器（如DINOv2）的情况下，实现了超越SRA和Self-Flow的成绩，且与使用外部编码器的REPA方法（FID 1.42）差距极小。

结论与启示

这项研究揭示了一个深刻的哲学问题：我们是否真正理解了AI性能提升背后的机制？

Self-Flow作者认为“交互启发”是关键，但实验证明，切断交互后性能反而上升。真正起作用的是数据的多样性——无论是不同噪声状态还是不同局部视角。

对AI领域的意义：
1. 数据多样性优于复杂交互：在特定场景下，简单的数据增强手段比设计复杂的互动机制更有效。
2. 方法论警示：在宣称某种机制有效前，必须设计受控实验隔离变量，避免将数据层面的效果误判为学习机制的突破。
3. 资源友好：该方法完全基于模型自身，无需外部工具，特别适合资源受限或新数据领域的研究。

Q&A

Q1：Self-Flow的双时间步调度是什么意思？
A：指在同一张训练图片中，对不同像素块添加不同程度的噪声（有的模糊，有的清晰），使它们共存于一次训练中。原论文认为清晰块能帮助模糊块推断内容，但本研究发现，其核心优势在于让模型见识了更多样化的噪声状态，属于数据增强效果。

Q2：为什么注意力分离在遮盖比例50%时效果会变差？
A：当 $\alpha=0.50$ 时，训练阶段模型只能看到图像的一半（局部视角），而推理阶段使用全局注意力（完整视角）。这种训练与推理视角的巨大差异导致模型“水土不服”，性能大幅下降。通过引入混合训练（部分样本使用全局注意力）可缓解此问题。

Q3：SRA、Self-Flow和本研究的方法有何实际区别？
A：
* SRA：模型内部层级间的自对齐，整张图片统一噪声等级。
* Self-Flow：在SRA基础上引入双时间步，同一图片不同部分处于不同噪声等级，原假设依赖块间交互。
* 本研究：在Self-Flow基础上引入注意力分离，切断不同噪声等级块的交互，证实两者均为数据增强手段，并通过优化组合实现了更优性能。

(责任编辑：知识)