mimicmotion

mimicmotion官网,腾讯推出的Al人像动态视频生成框架

什么是MimicMotion?

MotionClone是一个开源的克隆参考视频中的运动的技术，可用于准确的控制文生视频的运动轨迹。MimicMotion是腾讯的研究人员推出的一个高质量的人类动作视频生成框架，利用置信度感知的姿态引导技术，确保视频帧的高质量和时间上的平滑过渡。此外，Mimic Motion通过区域损失放大和手部区域增强，显著减少了图像失真，提升了人像手部动作的细节表现。该框架还能通过渐进式潜在融合策略生成长视频，能够生成高质量、长时间且符合特定动作指导的人类动作视频，同时显著提高了视频生成的控制性和细节丰富度。

github项目地址: https://github.com/tencent/MimicMotion

论文地址: http://arxiv.org/abs/2406.19680v1

MimicMotion的目标是从单个参考图像和一系列要模仿的姿势中生成高质量的、姿势引导的人类视频。这项任务包括合成符合所提供的姿势序列的逼真运动，同时保持对参考图像的视觉保真度。作者利用特定的预训练视频扩散模型的能力来减少从头开始训练视频扩散模型的数据需求和计算成本。稳定视频扩散(Stable Video Diffusion, SVD)是一种基于大规模视频数据集训练的开源图像到视频扩散模型。与其他当代型号相比，它在视频质量和多样性方面都表现出良好的性能，MimicMotion的模型结构旨在集成预训练的稳定视频扩散(SVD)模型，以利用其图像到视频的生成能力。

主要功能和特色

•生成多样化视频：MimicMotion能够根据用户提供的姿态指导生成各种动作的视频内容。无论是舞蹈、运动还是日常活动，只要提供相应的姿态序列，Mimic Motion都能够创造出相应的动态视频。

。控制视频长度：用户可以根据自己的需求指定视频的持续时问，MimicMotion能够生成人几秒钟的短片段到几分钟甚至更长的完整视频，提供灵活性以适应不同的应用场景。

。姿态引导控制：框架使用参考姿态作为条件，确保生成的视频内容在动作上与指定的姿态保持一致。

MimicMotion允许用户对视频的动作进行精确控制，实现高度定制化的视频生成。 •细节质量保证：MimicMotion特别关注视频中的细节，尤其是手部等容易失真的区域。通过置信度感知的策略，系统能够在这些区域提供更清晰的视觉效果。

。时间平滑性：为了提供更自然的观看体验，Mimicotion确保视频帧之间的过渡平滑，遊免出现卡顿或不连贯的现象，使得视频看起来更加流畅自然。

。减少图像失真：通过置信度感知的姿态引导，Mimicotion能够识别并减少由于姿态估计不准确导致的图像失真，尤其是在人物手部区域。

•长视频生成：MimicMotion采用渐进式潜在融合技术，允许系统在生成长视频时保持高时间连贯性。

该技术通过在视频段之间融合潜在特征，有效避免了闪烁和不连贯现象。

•资源消耗控制：在生成视频时，MimicMotion优化算法以确保资源消耗保持在合理范围内。即使在生成较长视频时，也能有效地管理计算资源，避免过高的成本。

•姿态引导的视频生成：Mimic Motion利用用户提供的姿态序列作为输入条件，引导视频内容的生成， 允许模型根据姿态的变化合成相应的动作。

、置信度感知的姿态指导：框架引入了置信度的概念，通过分析姿态估计模型提供的置信度分数，对姿态序列中的每个关键点进行加权。这样，模型可以更加信赖那些置信度高的关键点，减少不准确姿态估计对生成结果的影晌。

。区域损失放大：特别针对手部等容易失真的区域，MimicMotion通过提高这些区域在损失函数中的杈重，增强模型对这些区域的训练，从而提高生成视频的手部细节质量。

•潜在扩散模型：MimicMotion使用潜在扩散模型来提高生成效率和质量，模型通过在低维潜在空问中进行扩散过程，而不是直接在像素空问操作，从而减少了计算成本。

•渐进式潜在融合：为了生成长视频，MimicMotion采用了一种渐进式潜在融合策略。在视频段之问， 通过逐步融合重叠帧的潜在特征，实现了视频段之问的平滑过渡，避免了生成长视频时可能出现的闪烁和不连贯现象。

•预训练模型的利用：MimicMotion基于一个预训练的视频生成模型 （如Stable Video Diffusion, SVD），减少了从头开始训练模型所需的数据量和计算资源。

•U-Net和PoseNet的结构：MimicMotion的模型结构包括一个用于空间时间交互的U-Net和一个用于提取姿态序列特征的PoseNet。这些网络结构共同工作，以实现高质量的视频生成。

•跨帧平滑性：MimicMotion在生成过程中考虑了帧之间的时间关系，确保了视频帧之间的连贯性和平滑性。