【人工智能】索贝发表最新研究成果：一种基于扩散模型的免训练过渡视频生成方法

　　近期，索贝媒体智能实验室MIL在国际学术期刊IEEE Transactions on Circuits and Systems for Video Technology (TCSVT)发表技术创新成果，提出了一种利用免训练扩散模型生成高质量过渡视频的方法(《TVG: A Training-free Transition Video Generation Method with Diffusion Models》)，其解决了在过渡视频制作中，帧间关系建模薄弱与内容突变等挑战，显著提升了视觉叙事的流畅性与连贯性。值得一提的是，IEEE TCSVT属视频图像技术领域国际顶级期刊、中科院一区期刊，影响因子8.3。

　　视频过渡(连接场景的视觉效果)对影视、广告等视觉叙事至关重要。传统变形(morphing)技术往往过渡生硬、艺术表现力欠缺并且对专业技能要求较高。尽管最新的AI视频生成模型已经表现出非凡的内容创作潜力，但其在处理过渡效果时仍存在画面跳变、运动不连贯等问题。

　　“过渡视频生成的关键难题在于建模过渡过程中，帧间呈现的复杂动态关系”，索贝MIL负责人指出，“现有扩散模型擅长基于文本生成单帧视频或短视频，但难以确保起始图像到目标图像的过渡序列具备视觉连贯性与动态平滑性。”

　　该论文提出的一种免训练过渡视频生成(TVG)方法，利用视频级扩散模型，通过三大创新技术攻克上述难题：

　　高斯过程回归(GPR)实现平滑流：利用GPR智能建模视频级扩散模型的隐空间(AI内部表征)，如同精密预测引擎，确保过渡效果平滑演进，消除画面突变

　　插值条件控制增强可靠性：通过基于插值的条件控制机制，精准引导场景转换路径，提升生成结果的可预测性

　　频域双向融合保障一致性：创新性“频域感知双向融合”(FBiF)架构双向校验过渡序列，同步优化高频细节(如锐利边缘)与低频元素(如色彩形态)的跨帧一致性

　　该方法直接应用预训练视频扩散模型实现突破，无需任何微调或再训练。这一特性使得技术具备高度易用性与产业实践价值。在对标准测试集及定制图像上的评估证实，TVG优于现有方案，该项研究成果将进一步加强索贝智能编辑产品的AIGC能力。

　　索贝媒体智能实验室自2016年成立以来，结合视听场景应用、坚持核心算法突破，在自然语言处理、计算机视觉、机器学习等AI领域展开深入研究。在学术层面，实验室不仅发表了数十篇SCI论文，还取得了诸多专利和软件著作权，展示了其在媒体智能研究中的深厚实力;在工程实践层面，索贝成功将研究成果应用于多个平台级产品的开发中，如VIDA、智能媒资、明眸语言模型等。