这项由新加坡国立大学电子与计算机工程系与英伟达研究院联合完成的研究，发表于2026年第43届国际机器学习会议（ICML 2026），地点在韩国首尔，收录于PMLR第306卷。对原论文感兴趣的读者可通过论文编号arXiv:2607.03509查阅完整内容。
**视频生成领域的两难困境**
拍过电影的人都知道，导演面临一个永恒的两难选择：要么花大量时间精心规划每一帧，确保整部影片的连贯性和美感；要么快速拍摄，让演员即兴发挥，虽然效率高，但有时前后剧情会出现矛盾，人物行为也会前后不一致。人工智能生成视频的世界里，同样存在这个困境，而且这个困境在过去几年一直没有得到根本性的解决。
现有的视频生成系统大致分为两种路线。第一种叫做"双向扩散模型"，它的工作方式就像一位极为谨慎的导演：在生成任何一帧画面之前，它会同时"看"这段视频的所有帧，前面的、后面的全都纳入考量，然后再统一生成。这种方式就像先把整个剧本写好，再一次性拍摄，好处是整体连贯性极强，画面质量也非常高；坏处是计算量巨大，速度极慢，生成一段视频往往需要很长时间，而且很难扩展到更长的视频。
第二种叫做"自回归模型"，它的工作方式更像一位即兴演员：只看之前发生过的内容，不管后续如何，一帧接一帧往后生成。这种方式速度很快，天然支持任意长度的视频生成，还能利用一种叫做"KV缓存"的技术避免重复计算。然而问题在于，这种即兴式的生成方式容易积累错误——就像一个人说话说着说着忘了最开始说的是什么，导致视频里的人物外貌、场景或动作前后不一致，长视频里更容易出现明显的"漂移"现象。
正因如此，研究团队在这里提出了一个核心问题：这两种截然不同的生成方式，能否在同一个模型里同时存在，并且在需要时灵活切换？
**打破"非此即彼"的核心发明：Flex-Forcing**
这项研究的核心成果叫做Flex-Forcing，直译过来是"灵活强制"，但更贴切的理解是"弹性分块生成框架"。它的核心思路可以用一个拍摄电视剧的比喻来理解。
传统的双向模型就像把整季剧（比如21集）一次性拍完，所有演员同时在场，导演对整体把握极好，但成本极高，时间极长。传统的自回归模型则像每次只拍一集，拍完第一集才能拍第二集，速度很快，但有时候第十集的演员忘了第一集里发生了什么。Flex-Forcing的方案是：把整季剧分成若干"拍摄组"，每组内部的几集可以同时拍摄（双向模式），但不同拍摄组之间按顺序进行（自回归模式）。这样既保留了组内的整体协调性，又大幅提升了整体拍摄效率。
在技术上，这个"拍摄组"就是所谓的"块（Chunk）"。研究团队将一段视频的所有帧按时间顺序分成若干连续的块，每个块内部的帧使用双向注意力机制相互参考，而不同块之间则按照时间顺序，后面的块只能参考前面块已经生成好的内容。通过调整块的大小，就能在两个极端之间平滑移动：当每个块只有一帧时，就完全等价于自回归模式；当整段视频只有一个块时，就完全等价于双向模式。这个简洁的设计让同一个模型在推理（生成）时能够根据实际需求自由配置。
这个灵活分块的设计沿着两个维度同时展开，就像一张坐标系上的横轴和纵轴：一个维度是"时间帧轴"，决定视频中哪些帧被分在同一个块里；另一个维度是"去噪步骤轴"，决定在不同的去噪阶段使用不同的块划分方式。把这两个维度结合起来，就形成了一个极为丰富的配置空间。
**像金字塔一样的智慧：去噪步骤上的分块策略**
理解去噪步骤上的分块需要先了解扩散模型的基本工作原理。扩散模型生成图像或视频的过程，就像是把一张完全是噪点的图片一步步"擦干净"，最终露出清晰的画面。这个"擦干净"的过程会进行很多步（比如50步），早期的步骤决定大的结构和整体布局，晚期的步骤负责细节的精修。
研究团队发现了一个很有道理的规律：在早期去噪步骤（噪点多、不确定性高），视频需要做"全局规划"，此时使用更大的块（甚至整段视频作为一个块）更合适，因为需要让模型同时"看"到所有帧，确定整体的场景、光线和运动方向；而在晚期去噪步骤（画面已经基本成形），只需要精修局部细节，此时使用更小的块即可，反而能提升效率。
这就形成了一个从"粗到细"的金字塔结构：最开始是大块（宽松的双向视角），随着去噪进行，块越来越小（逐渐向自回归模式过渡），最终在最后几步用细粒度的小块完成精修。研究团队还在技术上设计了一种"嵌套分裂"机制——上一步中的一个大块，可以在下一步中被"切分"成若干小块，同时保留所有原有的边界点。这种嵌套设计保证了每个步骤的配置都可以由上一步骤演变而来，结构非常清晰。
在实际执行时，这个金字塔结构带来了一个有趣的工程挑战：如果上一步中某几帧是作为一个大块一起处理的，而下一步需要把它们拆成小块分别处理，那么后面的小块必须等前面的小块先处理完才行，因为它们需要参考前面块生成的中间结果。研究团队为此设计了一个临时缓冲机制：先把大块阶段的结果缓存起来，等拆分后的小块按顺序逐一处理完后再继续推进。这个细节虽然听起来只是工程技巧，却对保证整个系统的正确性至关重要。
**解决混搭带来的新问题：噪声级别不匹配**
把双向和自回归两种模式合并在一个模型里，会产生一个此前从未被认真对待的问题：在同一个注意力层里，同一个"查询"（可以理解为模型当前正在思考的内容）需要同时参考两类"键值对"（可以理解为参考资料）——一类是已经生成干净的前面帧（噪声很少），另一类是还处于高噪声状态的后续帧。这两类参考资料所处的"信噪比"差异极大，就像你让一个学生同时参考一本印刷精美的教科书和一张已经被雨淋湿、字迹模糊的手稿，模型处理起来会非常混乱。
为了解决这个问题，研究团队提出了一个叫做"K-Projection"（键值投影）的机制。具体来说，它是一个轻量级的线性变换层，能够将那些来自干净帧的"键"向量，按照当前去噪步骤的噪声水平进行动态调整，让它们看起来就像是在同等噪声条件下产生的，从而消除噪声级别不匹配的问题。这个投影层在初始化时被设置成"恒等映射"（即什么都不改变），然后在训练中逐渐学会如何进行合适的对齐。
这个机制的一个工程优点是：它只在计算注意力时临时应用，不需要修改已经缓存的键值对本身。所以已经存好的缓存数据不用重新计算，只是在读取时动态调整一下，效率完全不受影响。实验结果显示，这个看似简单的小改动对整体性能的提升非常显著，尤其是在块尺寸较大、接近完全双向模式时，缺少K-Projection会导致性能明显下降，加入后则保持稳定甚至持续提升。
**训练：让模型在混沌中学会秩序**
一个能灵活切换两种模式的模型，在训练时自然也需要经历两种模式的混合。研究团队采用了一种被称为"随机分块策略"的训练方式：每次训练时，随机地从2到10这个范围内选择块的大小，并把这种随机配置应用于整个视频的生成过程。这样，模型在训练过程中就会看到各种各样的注意力模式——有时候是严格的逐帧自回归，有时候是大块的双向注意力，有时候是介于两者之间的混合形式。
这个训练策略的出发点非常自然：如果你希望模型在测试时能灵活应对各种块配置，那就在训练时让它见识各种配置。就像培训一名演员，不只让他练习固定台词，而是让他在各种不同场景下反复排练，最终才能在正式演出时从容应对任何变化。
整个训练流程沿用了前人工作中成熟的两阶段流程。第一阶段叫做"ODE初始化"，通过在原本双向的视频扩散模型上添加因果注意力掩码（让每帧只能看到之前的帧），把双向模型逐步调整成具备因果性的模型。第二阶段叫做"非对称蒸馏"，这里引入了随机分块策略，并结合一种叫做"VSD损失"的训练目标，把需要很多步才能完成的扩散过程压缩成只需几步，从而大幅提升推理速度。
**弹性配置的实际效果：数字说话**
研究团队在5秒钟视频的生成任务上进行了详细的搜索实验，穷举了所有将21个潜在帧分成3个块的可能方式，并逐一测试了它们的速度（每秒帧数FPS）和质量（VBench评分）。结果呈现出几个非常清晰的规律。
第一个规律是：均匀分块并不是最优选择。把视频平均分成三份（7-7-7）的效果，明显不如某些非均匀分法。这说明对视频的理解是不对称的——视频的前段往往包含更多需要建立全局上下文的信息，而后段更多是在前段基础上的延伸。
第二个规律是：把大块放在前面、小块放在后面，效果最好。比如"15-3-3"这种配置（前15帧作为一个大块，后面各3帧分别作为一个小块），在VBench上取得了所有配置中最高的得分85.07，甚至比完全均匀分块的方案高出了整整0.44分。在某些情况下，这种前大后小的配置甚至能超越完全双向推理的效果。
第三个规律是：NFE（生成所需的函数评估次数，可以理解为去噪步数）与速度直接相关。使用3步去噪的Flex-Forcing（比如"12-6-3"配置）每秒能生成45.6帧，而使用5步去噪的配置则是25.8帧。即便是3步版本，质量评分也达到了84.29，仍然超过了Self-Forcing基线的5步版本（83.89或84.31，取决于测试版本）。
在与竞争对手的正面对比上，Flex-Forcing的表现非常突出。与最主要的竞争对手Self-Forcing相比，在相同速度（FPS=24.9）下，Flex-Forcing的VBench总分高出了约1.2分（85.07 vs 83.89），同时在"Quality"这个维度上的提升尤为明显（86.33 vs 84.45）。即便与更新的Self-Forcing++版本相比，差距依然显著。
与那些专门为少步推理优化的"蒸馏"模型（如DMD-v、rCM等）相比，Flex-Forcing在4步模式下取得了85.13的总分，超过了所有同类方法；在2步模式下取得了84.20，同样具有竞争力。这说明Flex-Forcing作为一个统一框架，在双向模式下的表现也不弱于专门为此优化的方法。
**30秒长视频：更长，更稳**
研究团队还在30秒长视频的生成任务上进行了评测，使用VBench-Long这个专门为长视频设计的评测基准。在这个测试中，Flex-Forcing以每秒24.96帧的速度运行，相比对手Infinity-RoPE（19.1帧/秒）快了约30%。
质量方面，Flex-Forcing在大部分指标上超越了Infinity-RoPE，最显著的改进来自"动态程度"这个维度——Flex-Forcing达到了71.27分，而Infinity-RoPE只有50.26分，提升幅度高达21个百分点。这个差距说明Flex-Forcing生成的长视频运动更丰富、更多样化，而对手的模型往往容易生成重复性的运动，导致视频看起来单调。在整体质量评分上，Flex-Forcing达到84.01，同样优于Infinity-RoPE的82.84。
用户偏好研究也印证了这一点：在5秒视频中，55.4%的用户在视觉质量维度上更偏好Flex-Forcing；在30秒视频中，这个比例进一步上升到53.9%。两个测试场景中，Flex-Forcing均获得了过半数的用户青睐。
**超越生成：任意时间步的视频编辑**
Flex-Forcing带来的不只是更快更好的视频生成，还解锁了一类此前很难实现的视频编辑功能。由于该框架支持在去噪过程的任意步骤上切换注意力模式，研究团队发展出了两种新颖的编辑方式。
第一种叫做"任意时间步编辑"。传统的自回归编辑方法面临一个棘手问题：一旦你在某一帧上做了改动（比如改变某人的表情），这个改动会像涟漪一样扩散到后续所有帧，因为每一帧都依赖于前面的帧。Flex-Forcing提出的解决方案是：把去噪过程的前几步（负责全局结构的步骤）保持不变，只在后面几步（负责细节精修的步骤）中引入编辑指令。这样就把"全局规划"和"局部调整"解耦开来，改动只影响细节而不破坏整体结构。实验展示了一个具体案例：在一段人物视频中，从第6帧开始修改条件（让人物张嘴大笑），只在最后三步（共四步）中应用这个修改，结果整段视频的一致性得到了很好的保留，而对照组的Self-Forcing则因为这个局部修改导致整段视频出现了大幅度的变化。
第二种叫做"任意顺序编辑"。在双向注意力的加持下，Flex-Forcing可以同时参考一个时间段前面和后面的内容。这意味着你可以在视频完整生成之后，挑选中间某一段重新编辑，而不需要从头重新生成整个视频。比如，在一段81帧的视频已经生成完毕之后，你决定把第26到49帧之间的场景换成"一只猫跑过去"，系统可以在同时参考第1到25帧和第50到81帧内容的情况下，重新生成这一段，使得前后衔接更加自然。实验结果显示，Flex-Forcing在帧49和帧50之间的过渡（编辑段与未编辑段的边界处）比Self-Forcing更加流畅，说明双向上下文的参考对保持一致性有实质性帮助。
**这套系统的局限与未来**
研究团队在论文中坦诚地列出了这套方法目前的几个局限。首先，虽然Flex-Forcing放宽了严格的从左到右因果约束，但训练与推理之间的不匹配问题并没有被彻底解决，在超长视频的生成中仍然会出现误差累积。其次，Flex-Forcing的能力很大程度上依赖于基础模型预训练时积累的双向编码能力，如果迁移到那些预训练能力较弱的模型上，效果可能会打折扣。当然，和所有视频生成模型一样，这套技术如果没有适当的使用规范，也存在被滥用的风险。
说到底，Flex-Forcing代表了一种思路上的转变：视频生成的双向模式和自回归模式，不应该被视为两条互不相容的道路，而应该被视为一个连续谱系上的两个极端点。通过灵活分块这个简洁的设计，任何一个中间点都可以根据需要自由选择，在质量与效率之间找到最适合当前任务的平衡。
这对普通人意味着什么？随着这类技术的逐步成熟，未来的视频创作工具可能会变得更加"聪明"——当你的设备性能有限时，它自动切换到快速但仍然足够好的模式；当你需要极致品质时，它切换到精细但稍慢的模式；当你只想修改视频中间某一段时，它能在不动其余部分的情况下精准完成编辑。这种灵活性，或许就是视频生成技术走向真正实用化的关键一步。
对这项研究感兴趣的读者，可以通过arXiv编号2607.03509找到完整论文，该成果已被2026年第43届国际机器学习会议（ICML 2026）收录，完整版本包含了大量定性比较视频和详细的消融实验，值得深入阅读。
Q&A
Q1：Flex-Forcing是怎么同时做到"快"和"质量好"的？
A：Flex-Forcing的关键在于"灵活分块"设计——把视频按时间分成若干块，每个块内部用双向注意力保证质量，块之间按顺序生成保证效率。通过把大块放在前面、小块放在后面，既让视频整体结构有全局规划，又减少了冗余计算。实验显示，采用"15-3-3"这种前大后小配置，在速度与基线持平的情况下，质量评分可以提高约1.2分。
Q2：Flex-Forcing的K-Projection机制解决了什么问题？
A：在混合生成模式下，同一个注意力层需要同时处理已经"干净"的前序帧和还处于"高噪声"状态的后续帧，两者的信噪比差异极大，会导致模型混乱。K-Projection是一个轻量级的动态变换，能把干净帧的参考信息按照当前噪声水平进行调整，使所有参考资料处于同一"噪声语境"下，消除不匹配问题，且不影响缓存效率。
Q3：Flex-Forcing的视频编辑功能和普通编辑软件有什么不同？
A：普通编辑软件只能做剪切、拼接等操作，无法理解视频内容的连贯性。Flex-Forcing的编辑功能是"内容感知"的：它可以在修改中间某段视频时，同时参考前后段落的内容，确保编辑结果与前后自然衔接；还可以只修改去噪过程的细节步骤而保留全局结构，让局部改动不会影响整体风格。这类编辑能力在传统自回归模型中是很难实现的。