为视频虚拟试衣解锁自由视角，TryOnCrafter玩转4D试衣代理

视频虚拟试衣（VVT）作为电商展示与数字内容创作的为视r玩核心技术，在动态换装、频虚纹理保持及视频时序连贯性方面已取得显著突破。拟试然而，衣解由视现有方案普遍受限于固定相机视角，锁自试衣生成结果被动绑定于源视频的代理原始轨迹，无法支持用户自由旋转、为视r玩推拉或环绕观察，频虚难以满足真实场景下的拟试沉浸式体验需求。

针对这一痛点，衣解由视我们推出了首个面向可控相机视频虚拟试衣（CaM-VVT）的锁自试衣视频 DiT 框架——TryOnCrafter。通过引入显式 4D 几何锚定技术，代理TryOnCrafter 首次系统性解决了试衣场景中的为视r玩自由运镜难题，支持主体重定位、频虚子弹时间及 360° 环绕等全新效果。拟试在确保人物结构稳定、服装纹理连续及场景关系自然的前提下，真正实现了从「观看固定视角视频」到「自由探索动态穿搭」的跨越。

TryOnCrafter 并非在传统视频试衣基础上简单叠加镜头运动，而是将人物、服装、背景与相机轨迹统一至 4D 世界空间，从任务定义、空间建模到生成范式对传统 VVT 进行了根本性重构。二者的核心差异如下：

基于此设计，TryOnCrafter 打破了试衣结果被锁定在源视频相机轨迹中的桎梏。借助可渲染 4D 试衣代理与代理锚定视频 DiT，模型能够在用户指定的任意自由相机轨迹下，生成结构稳定、外观自然的试衣视频。

研究背景

视频虚拟试衣（VVT）旨在将指定服装无缝迁移至视频目标人物，同时保持身份特征与动作连贯性。尽管现有方法在生成逼真动态换装效果上进步显著，但普遍存在一个根本性约束：生成结果严格绑定于源视频的原始相机轨迹。用户无法像在线下实体试衣或三维商品展示中那样，自由旋转、拉近、拉远或环绕观察服装在不同视角下的穿着效果。

在真实的线上购物场景中，消费者关注的不仅是衣服「穿上去像不像」，更是其在不同角度、动作及距离下的合身度——侧面剪裁是否贴合、背面纹理是否完整、走动时衣摆动态是否合理，以及镜头切换时人物与背景的一致性。

为突破上述局限，本文提出 TryOnCrafter 框架，并定义了一个全新的研究任务：可控相机视频虚拟试衣（Camera-Controllable Video Virtual Try-On, CaM-VVT）。该任务不仅要求将服装迁移至动态人物，更要求模型能在指定的新相机轨迹下，生成结构稳定、纹理一致、动作自然且前背景关系合理的视频。

TryOnCrafter 摒弃了传统的隐式像素空间操作，转而引入可渲染 4D 试衣代理（Renderable 4D Try-on Proxy）。通过将高质量 2D 试衣先验蒸馏至基于 3D 高斯泼溅（3DGS）的穿衣虚拟人体，并结合 SMPL-X 序列驱动及背景点云度量对齐，构建出兼具高纹理密度与完整运动结构的鲁棒几何表征。该代理作为 4D 几何锚点，可渲染得到初始视频；后续环节则以视频扩散 Transformer（Video DiT）为主干，对初始渲染结果进行细化，确保输出既严格遵循目标相机轨迹，又具备物理合理的动态形变。

主要贡献概括为以下三点：

1. 定义新任务与框架：定义了可控相机视频虚拟试衣（CaM-VVT）任务，并提出首个基于视频 DiT 的 CaM-VVT 统一框架 TryOnCrafter。
2. 引入 4D 试衣代理：通过 2D 试衣先验蒸馏至 3DGS 虚拟人体，联合 SMPL-X 驱动与背景点云度量对齐，构建显式的 4D 空间结构代理。
3. 支持多样化应用：支持人物重定位、360° 环绕试衣及子弹时间效果，充分释放 4D 试衣代理在编辑任务中的潜力。

论文标题：TryOnCrafter: Unleashing Camera Trajectories for Realistic Video Virtual Try-on via a Renderable 4D Try-on Proxy
论文地址：https://arxiv.org/abs/2606.26092
项目地址：https://sunhao242.github.io/TryOnCrafter_web.github.io

方法介绍

TryOnCrafter 采用「先构建显式 4D 空间代理，再进行代理锚定视频生成」的两阶段流程，将可控相机视频虚拟试衣从传统的像素级换装问题，转化为以 4D 世界空间为核心的重渲染与生成任务。

给定源视频、目标服装图像及用户指定的目标相机轨迹，TryOnCrafter 首先构建可渲染 4D 试衣代理，为后续生成提供明确的几何结构、姿态运动及前背景关系约束。随后，以该代理在目标轨迹下的渲染结果作为结构先验，输入视频扩散 Transformer 进行生成式细化，补全真实感纹理、身份细节及遮挡区域内容，最终得到符合指定视角运动、时序稳定且外观自然的自由视角试衣视频。

整体方法包含两个核心模块：
1. 可渲染 4D 试衣代理：建立稳定、可编辑、可渲染的 4D 几何锚点。
2. 视频扩散 Transformer 模型：在锚点约束下完成真实感视频生成。

可渲染 4D 试衣代理构建流程

4D 试衣代理是一个可渲染、可编辑、随时间变化的 4D 穿衣人体表示。构建过程包括：

• 背景重建：从源视频中恢复背景点云和相机信息。
• 人体运动恢复：通过 SMPL-X 对齐人体动作序列。
• 2D 试衣先验蒸馏：将高质量 2D 试衣结果蒸馏至 3DGS 模型，形成穿着目标服装的 3D 人体化身。
• 场景统一对齐：通过人体点云锚点，将 SMPL-X 动作序列度量对齐至重建的背景点云，并让人体化身随 SMPL-X 动作变形（如上图 a、b 所示）。

这一过程将人物、服装、背景和相机轨迹规范至同一 4D 世界空间中。模型在生成视频时，不再凭空想象新视角内容，而是以 4D 试衣代理为几何锚点，确保每一帧都受到明确的空间结构约束。

视频扩散 Transformer 构建流程

完成 4D 试衣代理后，TryOnCrafter 将其作为几何与纹理先验，输入代理锚定的视频扩散 Transformer进行细化。该模块基于预训练 Wan2.1-I2V-14B 构建，旨在严格遵循目标相机轨迹的同时，补足代理渲染中可能存在的细节缺失、遮挡区域及真实感不足。

具体流程如下：
1. 初始渲染：给定目标相机轨迹，4D 试衣代理渲染得到初始视频，显式编码人物姿态、服装纹理、背景结构及相机运动，作为视频 DiT 的主结构锚点。
2. 时空约束注入：引入下采样二值 mask，在 patchify 阶段将编码特征与扩散噪声在通道维度拼接，使每一步去噪过程受到像素级对齐的时空约束。
3. 参考帧注入：将高质量参考帧注入渲染序列首帧，稳定早期去噪阶段的整体外观，减少轮廓漂移和身份偏移。

条件设计采用三层引导机制：

• 渲染先验（Rendered Prior）：由 4D 试衣代理在目标轨迹下渲染得到，提供基础时空结构约束，确保人物朝向、姿态、背景位置及服装变形与目标视角一致。
• 跨视角参考适配器（CRA）：从源视频和参考信息中提取细粒度身份、服装与背景特征，以残差形式注入 DiT 主干。CRA 共享 DiT 中 self-attn 的 Key/Value 投影权重，使用独立的 Query/Output 权重，在保持预训练生成能力的同时，帮助模型在新视角中维持身份、纹理及场景细节（如上图 c 所示）。
• 多模态语义条件（Multi-Modal Semantic Conditioning）：通过 CLIP 图像编码器提取服装纹理与材质特征，结合文本编码器的高层属性描述，将语义 token 通过交叉注意力注入 DiT 模块。此设计有效处理遮挡区域或代理重建稀疏区域，减少长视频生成中的纹理漂移和语义不一致。

训练策略：
TryOnCrafter 采用渐进式两阶段策略：
1. 预训练：在常规单目视频试衣数据上进行基础 VVT 预训练，学习稳定的服装迁移、纹理保持与时序一致性。
2. 微调：引入相机控制，在合成多视角试衣数据上进行 CaM-VVT 微调，学习跨视角空间一致性、视角相关服装形变及复杂相机运动下的真实感重建。

因此，TryOnCrafter 的视频 DiT 并非单纯「美化渲染结果」的后处理模块，而是被 4D 代理显式锚定的生成器。4D 代理固定人物、服装、背景与相机轨迹于同一世界空间，视频 DiT 在此基础上补全真实感、细节和动态一致性。

为何不能简单串联「试衣 + 相机控制」模型？

两阶段方案（「视频试衣模型」+「相机控制模型」）看似直接，但极易出现误差累积：第一阶段生成的服装纹理若不稳定，第二阶段在改变镜头时会放大这些问题，导致衣服变形、人物结构崩坏及背景扭曲，且推理成本更高。

TryOnCrafter 的核心洞察在于：需要一个稳定的中间表示来桥接试衣与视角控制——即可渲染 4D 试衣代理。

实验结果

我们在非相机可控视频虚拟试衣和相机可控视频虚拟试衣两个任务上与现有方法进行了对比。

非相机可控视频虚拟试衣

相机可控视频虚拟试衣

潜在应用

由于构建了显式的 4D Try-on Proxy，TryOnCrafter 不仅是一套视频生成模型，更是一个可重复编辑的数字试衣空间。论文展示了三个具有现实效益的潜在应用方向：

1. 主体重定位：可将穿着目标服装的人物移动至场景任意位置，同时保持人物与背景间的遮挡、尺度和透视关系。适用于电商展示、广告制作或虚拟模特视频，允许同一段素材被重新编排至不同构图。
2. 子弹时间：冻结某一时刻的人体姿态，同时让相机环绕运动，生成类似电影 Bullet Time的动态试衣展示。为时尚短视频、品牌视觉营销和沉浸式商品展示提供更具表现力的生成方式。
3. 360° 环绕视角试衣：用户可围绕人物生成完整环绕视角，从正面、侧面到背面连续查看服装效果。相比仅支持窄角度变化的方法，TryOnCrafter 能在未观察视角中保持结构稳定和纹理一致，精准对应真实购物中「我想看看背面」的核心需求。

鲁棒性测试

为验证 TryOnCrafter 是否过度依赖上游组件的重建质量，论文进行了鲁棒性测试，涵盖前景人体相关误差与背景几何退化两个方向。

结果表明，TryOnCrafter 并未将 4D 试衣代理视为必须逐像素复刻的「标准答案」，而是将其作为粗粒度、可渲染、时空一致的几何指导。即使代理存在局部错误，DiT 仍能结合源视频参考、服装语义和生成先验，对缺失或模糊区域进行合理补全。背景鲁棒性测试进一步证实了这一点。

关键启示：TryOnCrafter 的 4D 试衣代理不要求完美重建，它更像是一个稳定的空间脚手架。即使脚手架存在局部缺口，模型仍能依靠几何约束与生成能力完成高质量试衣视频合成。

性能测试

为分析 TryOnCrafter 的实际计算开销，论文对完整流程进行了细粒度性能剖析：

• 4D 试衣代理构建与渲染：总耗时 38.9s，峰值显存 59.1GB。
• DiT 视频生成阶段：耗时约 1360.0s，峰值显存 68.6GB。

数据显示，尽管 4D 试衣代理引入了大量显式几何建模管线，但它并未成为主要性能负担。

更重要的是，4D 试衣代理具有天然的复用性。当用户为同一人物和服装生成不同相机轨迹时，无需重新构建全部流程，仅需重新渲染 4D 试衣代理。改变相机轨迹后的代理重渲染仅需约 14.3s / 20.3GB。这意味着在多视角、多镜头、多版本试衣展示场景中，TryOnCrafter 的边际成本显著降低。

未来展望

TryOnCrafter 作为首个面向可控相机视频虚拟试衣（CaM-VVT）任务的统一框架，首次实现了任意相机轨迹下的视频虚拟试衣生成。通过引入可渲染 4D 试衣代理和代理锚定视频 DiT 等核心技术，TryOnCrafter 能够精准生成 360° 环绕、主体重定位和子弹时间等全新视角的试衣效果。

作为视频试衣领域从「被动跟随相机」向「主动控制视角」跨越的重要里程碑，TryOnCrafter 为未来虚拟试衣应用的研究开辟了全新路径。

展望未来，我们将进一步探索：
* 4D 试衣代理的实时构建与渲染效率；
* 更高分辨率下的视角一致性；
* 更长时间序列下的稳定性。

我们致力于为更多用户打造更加智能、自由、沉浸式的虚拟试衣体验。

本文出自淘天集团 - 拍立淘多模态生成团队，专注于多模态内容理解和生成算法的技术探索与应用，致力于以领先的算法技术能力重塑用户体验、驱动产品创新，并深度赋能电商生态的多样化场景。

(责任编辑：探索)