热门资讯

LONGLIVE – 英伟达等推出的交互式长视频生成框架

业界来源：AI工具集 2025-10-05 09:46:44

LONGLIVE是什么

LONGLIVE 是英伟达等顶尖机构联合推出的实时交互式长视频生成框架。框架通过帧级自回归（AR）模型，结合 KV-recache 机制、流式长视频微调和短窗口注意力 + 帧汇入技术，解决长视频生成中效率和质量的双重瓶颈。LONGLIVE 能在单个 H100 GPU 上以 20.7 FPS 的速度生成长达 240 秒的高质量视频，支持实时提示词切换和动态调整，为创意、教育和影视等领域开辟了新的创作可能性，是推动 AI 视频生成从“玩具”走向“生产力工具”的关键一步。

LONGLIVE的主要功能

实时交互：支持用户在视频生成过程中实时输入流式提示词（prompt），动态调整视频内容，引导叙事或改变风格。
长视频生成：模型能生成长达数分钟的高质量视频，支持复杂的叙事和场景发展。
高效推理：在单个 NVIDIA H100 GPU 上达到 20.7 FPS 的实时速度，支持长达 240 秒的视频生成，同时保持高保真度和时间连续性。
高质量生成：通过创新技术确保生成视频的视觉连贯性和语义一致性，在频繁切换提示词时能保持平滑过渡。
低部署成本：支持 INT8 量化推理，进一步降低模型大小和部署成本，几乎不损失性能。

LONGLIVE的技术原理

KV-recache 机制：在切换提示词时，通过重新计算键值（KV）缓存“刷新”状态，清除旧提示词的残留信息，同时保留视觉和运动线索，确保画面平滑过渡并精准执行新指令。将 recache 操作整合到训练中，使模型在训练时就学会如何在提示词切换后平滑过渡。
流式长视频微调（Streaming Long Tuning）：解决自回归（AR）模型在长视频生成中的质量衰减问题，通过“滚动扩展”的方式模拟推理过程，减少训练与推理的不一致性。用局部监督和梯度分离，避免长序列反向传播导致的内存溢出（OOM）问题，确保教师模型的可靠监督。
短窗口注意力 + 帧汇入（Frame Sink）：基于短窗口注意力，将注意力范围限制在局部窗口内，显著降低计算复杂度和内存需求。引入帧汇入机制，通过保留全局锚点（如视频的第一帧块），恢复长程一致性，同时保持短窗口的高效性。