Bet365,Bet365官方网站,Bet365 APP下载然而，在现实环境中采集不同光照与场景条件下的数据代价高昂，而仿真环境中尽管可以获得近乎无限的数据，但受限于算力资源，通常需要对光线的多次折射衍射以及纹理精度进行近似和简化，使得视觉真实性无可避免地受到损失，在视觉层面产生 Sim2Real Gap。而如果能够借助生成式模型根据所需的光照条件对现实或仿真环境下采集到的视频数据进行重渲染，不仅能够帮助获得增加已有真实数据的多样性，并且能够弥合计算误差带来的 CG 感，使得从仿真器中得到视觉上高度真实的传感器数据，包括 RL-CycleGAN 在内的许多工作已经证实，这一策略能够帮助减少将具身模型迁移到真实环境中所需微调的数据量和训练量。

　　尽管这一任务意义重大，但实际解决过程面临许多挑战。用于训练的视频数据往往伴随复杂的运动以及前景物体的频繁进出，同时视频序列有着较长的长度以及较高的分辨率。我们的定量和定性实验证据（参见论文实验部分及 Project Page）表明，在这些复杂且困难的输入条件下，已有的算法要么受制于训练所用视频数据的分布（如 COSMOS-Transfer1，Relighting4D），要么难以承受巨大的计算开销（如 Light-A-Video, RelightVid），要么难以保证良好的时序一致性（如 VidToMe, RAVE 等）。

　　TC-Light 首先使用视频扩散模型根据文本指令对输入视频进行初步的重渲染。这里我们基于预训练好的 SOTA 图像模型 IC-Light 以及 VidToMe 架构进行拓展，同时引入我们所提出的 Decayed Multi-Axis Denoising 模块增强时序一致性。具体而言，VidToMe 在模型的自注意力模块前后分别对来自不同帧的相似 token 进行聚合和拆分，从而增强时序一致性并减少计算开销；如图 2 中 (a) 所示，类似 Slicedit，Decayed Multi-Axis Denoising 模块将输入视频分别视作图像 (x-y 平面) 的序列和时空切片（y-t 平面）的序列，分别用输入的文本指令和空文本指令进行去噪，并对两组噪声进行整合，从而使用原视频的运动信息指导去噪过程。不同于 Slicedit，我们在 AIN 模块对两组噪声的统计特性进行了对齐，同时时空切片部分的噪声权重随去噪步数指数下降，从而避免原视频光照和纹理分布对重渲染结果的过度影响。

　　尽管通过引入前一小节的模型，视频生成式重渲染结果的一致性得到了有效改善，但输出结果仍然存在纹理和光照的跳变。因此我们进一步引入两阶段的时序一致性优化策略，这同时也是 TC-Light 的核心模块。在第一阶段，如图 2 中 (b) 所示，我们为每一帧引入 Appearance Embedding 以调整曝光度，并根据 MemFlow 从输入视频估计的光流或仿真器给出的光流优化帧间一致性，从而对齐全局光照。这一阶段的优化过程非常快速，A100 上 300 帧 960x540 分辨率只需要数十秒的时间即可完成。