2025/09/07 02:21:23 1,168次浏览

在《流浪地球 2》中图恒宇将 AI 永生数字生命变为可能,旨为将人类意识进行数字化备份并进行意识上传,以实现人类文明的完全数字化。

如今随着扩散模型的兴起极大,涌现出大量基于音频驱动的数字人生成工作。具体而言,语音驱动人类视频生成旨在基于参考图像与音频,合成面部表情与身体动作与音频高度同步的自然人像视频,在电影制作、游戏制作、虚拟现实、直播带货等领域具有广泛的应用前景。

但是,现有方法仅能生成时长不足 15 秒的短视频,一旦模型尝试生成超过 15 秒的视频,就会出现明显的身体变形与外观不一致现象,尤其集中在面部区域,这使目前数字人技术还无法达到《流浪地球 2》中图恒宇所创造的 AI 永生数字生命那样的程度,严重限制了其实际应用价值。

为了解决这一问题,一些方法尝试在音频驱动人类视频生成中引入一致性保持机制,但很少有工作深入探讨问题的根本原因。现有策略——无论是利用运动帧(Motion Frame),还是在推理过程中采用多种滑动窗口机制——都只能在一定程度上提升长视频的平滑性,却无法从根本上缓解无限时长头像视频的质量退化问题。

另一种可行方案是将长音频切分为多个片段,分别处理后再拼接成连续的视频。然而,这种方式不可避免地会在片段衔接处引入不一致和突兀的过渡。

因此,对于语音驱动的人类视频生成而言,实现端到端的无限时长高保真视频生成依然是一项极具挑战性的任务。

为了解决上述问题,来自复旦、微软、西交等研究团队提出 StableAvatar 框架,以实现无限时长音频驱动的高保真人类视频生成, 目前代码已开源,包括推理代码和训练代码。

方法简介

如下图所示,StableAvatar 是基于 Wan2.1-1.3B 基座模型开发的,首先将音频输入 Wav2Vec 模型中提取 audio embeddings,随后通过我们提出的音频适配器(Audio Adapter)进行优化,以减少潜变量分布误差的累积。

经过优化的 audio embeddings 会输入至去噪 DiT 中进行处理。参考图像的处理通过两条路径输入扩散模型:

在推理阶段,我们将原始输入视频帧替换为随机噪声,而保持其他输入不变。我们提出了一种新颖的音频原生引导(Audio Native Guidance)方法,以替代传统的 Classify-Free-Guidance,从而进一步促进唇形同步与面部表情生成。此外,我们引入了一种动态加权滑动窗口去噪策略,通过在时间维度上融合潜变量,以提升长视频生成过程中的视频平滑性。

Timestep-aware Audio Adapter

以往的方法在生成超过 15 秒的虚拟人视频时,往往出现明显的面部与身体扭曲,以及颜色漂移。这主要源于它们的音频建模方式:直接将第三方预训练的音频嵌入通过交叉注意力注入扩散模型。由于当前的扩散主干缺乏音频相关的先验知识,在注入过程中会在跨片段之间逐步累积潜在分布误差,使得后续片段的潜在分布逐渐偏离最优解。

为了解决这一问题,本文提出了一种新颖的 Timestep-aware Audio Adapter,其中音频嵌入通过多个仿射调制和交叉注意力模块与时间步嵌入和潜在特征进行交互,如上图(a)所述。

具体而言,初始音频嵌入(Query)依次与初始潜变量(Key 和 Value)进行交叉注意力计算,随后结合 timestep embeddings 进行 affine modulation,从而得到优化后的音频嵌入。由于 timestep embeddings 与潜变量高度相关,这一设计潜在地迫使扩散模型在每个时步上建模音频–潜变量的联合特征分布,从而有效缓解因缺乏音频先验而导致的潜变量分布误差累积,优化后的音频嵌入(Key 和 Value)最后通过交叉注意力与潜变量(Query)交互后注入扩散模型。

Audio Native Guidance

为了进一步增强音频同步性和面部表情,本文提出了一种新颖的 Audio Native Guidance 机制,用以替代传统的 CFG,它未考虑音频与潜在特征的联合关系。本文修改了去噪得分函数,以引导去噪过程朝着最大化音频同步性与自然性的方向前进。

由于优化后的 audio embeddings 本质上也依赖于潜变量,而不仅仅依赖外部音频信号,我们的 Audio Native Guidance 不再将 audio embeddings 作为一个独立于潜变量的外部特征,而是将其作为一个与潜变量相关的扩散模型的内部特征,我们的引导机制能够直接作用于扩散模型的采样分布,将生成过程引导至音频–潜变量的联合分布,并使扩散模型在整个去噪过程中不断优化其生成结果。

我们进一步将上述公式转化为得分函数形式:

因此最终推导公式为:

Dynamic Weighted Sliding-Window Strategy

与先前的滑窗去噪策略相比,我们在相邻窗口的重叠潜变量上引入了滑动融合机制,其中融合权重依据相对帧索引采用对数插值分布。融合后的潜变量会回注到两个相邻窗口中,从而保证中央窗口的两侧边界均由混合特征构成。

借助对数加权函数,可在视频片段之间的过渡中引入一种渐进式平滑效果:早期阶段的权重变化更为显著,而后期阶段变化趋于平缓,从而实现跨视频片段的无缝衔接,具体算法流程如下面算法表和图像所述。

生成结果示例

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

实验对比

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

复旦&微软提出首个端到端无限时长音频驱动的人类视频生成新框架!
复旦&微软提出首个端到端无限时长音频驱动的人类视频生成新框架!

江祖平自曝遭绿媒副总儿子下药性侵

「活动」kumawubiaotitest

869.71MB
版本V3.63.38
下载强开乖女嫩苞又嫩又紧免费漫画安装你想要的应用 更方便 更快捷 发现更多
喜欢 51%好评(64人)
评论 16
复旦&微软提出首个端到端无限时长音频驱动的人类视频生成新框架!截图0 复旦&微软提出首个端到端无限时长音频驱动的人类视频生成新框架!截图1 复旦&微软提出首个端到端无限时长音频驱动的人类视频生成新框架!截图2 复旦&微软提出首个端到端无限时长音频驱动的人类视频生成新框架!截图3 复旦&微软提出首个端到端无限时长音频驱动的人类视频生成新框架!截图4
详细信息
  • 软件大小: 214.63MB
  • 最后更新: 2025/09/07 02:21:23
  • 最新版本: V6.29.7
  • 文件格式: apk
  • 应用分类:ios-Android 一拳超人龙卷被❌出水视频
  • 使用语言: 中文
  • : 需要联网
  • 系统要求: 5.6以上
应用介绍
一,国产免费AAAAA短片,日本无码成人A片秀色推荐
二,山东少妇真人毛片,4虎cvt4wd入口免费
三,永久免费🔞🔞🔞看片QQ,被❌喷水自慰羞羞韩漫
四,免费🔞成人❌❌❌深夜夜行漫画,泡妞❌❌❌XXXX免费
五,赤兔帅气GayFuckXXXX视频,农民老头黄A片
六,女性裸体被❌羞羞被扒胸衣,女人裸体㊙️免费网站,jk漫画禁漫♥入口
七,男男鞭打GaY✅免费网站视频
【联系我们】
客服热线:134-2881-646
加载更多
版本更新
V7.5.17
欧美18🈲giantess漫画
  • 高清乱码🔞❌♋波萝视频

    ㊙️男生互摸jiji㊙️免费网站

    jk胡桃打开双腿❌❌3D视频

    94.74MB
    101好评

    女教师用🐻夹我的🍌网站

  • 大🐻动漫美女禁❌小说

    亚洲欧美㊙️无码一区网站

    中野三玖裸体被❌羞羞动漫17•cm

    47.69MB
    1128好评

    人与ZO00❌❌❌❌视频

  • 男人的🍌伸到🍑里怎么伸视频

    初音未来裸体❌

    成人欧美3d动漫video

    13.38MB
    317好评

    亚洲人做受79❌❌❌高潮

  • 穿JK白丝被❌裸体写真

    国产户外野战AAAAAAA

    无码激情18🈲️激情视频炮机

    53.71MB
    277好评

    不知火舞裸体被❌羞羞

  • 婬妇❌❌❌❌❌′

    男c男🔞黄㊙️❌B站香蕉

    AV➕无码➕白丝➕高潮

    71.69MB
    700好评

    成人羞羞视频🔞免费网站

  • 处破女无套内谢

    🍌伸进女人🍑里无打码动漫

    18禁无禁遮挡啪啪无码网站

    83.46MB
    335好评

    美女的裸体㊙️下药

  • www.😍.com.本子在线播放

    夏思凝裸体被❌羞羞网站ai换脸

    激情无码❌❌❌喷水丝

    23.17MB
    104好评

    火影小南被❌到爽网站

  • 龙卷被❌到爽🔞高潮痉挛🍌🍑

    美女袒胸㊙️奶头

    色情黄芙宁娜强❌乳喷自慰游戏

    50.99MB
    923好评

    美女裸体❌❌网站

  • 美女隐私㊙️裸露双头在线观看

    手机在线观三级做爱短视频

    动漫美女被❌狂揉大

    83.12MB
    560好评

    国产精品㊙️福利姬在线

  • 第一次又爽❌又黄❌动漫视频

    国产➕无码➕高潮男男

    性肉交大又粗又硬

    83.39MB
    756好评

    少妇高潮ZZZZZZZy❌一

  • 自慰大片aaa🈲两年半

    动漫人物被❌黄漫爆乳动

    男模㊙️洗澡露蛋

    32.76MB
    624好评

    🔞🍌进去里❌❌❌芒果视频

  • 云缨被❌同人本子

    小🐤🐤戳进去里图片美国

    纳西妲被❌吸乳脱内内

    26.33MB
    270好评

    欧美极品❌❌❌❌❌爱豆AⅤ

  • 少萝扒开㊙️让男人桶爽网站

    雏田爆乳❌🔞🈲

    嘿咻漫画在线看❤免费软件

    65.55MB
    740好评

    美女和男人泡妞❌❌❌

  • 宁荣荣扒开腿狂❌3D

    我给妺妺开的处苞视频

    蜜臀⭐️色欲国产AV毛片

    54.01MB
    755好评

    陈好裸体㊙️无遮

  • 扒开美女❌狂揉❌拔萝卜免费

    小乔裸体被❌叫爽动画

    强H女明星系列鞠婧祎

    57.66MB
    686好评

    91精品㊙️入口福利漫画

  • 小舞3D同人18❌AV网站

    男生撕开内衣👙打扑克

    亚洲AV第二区国产精品

    24.93MB
    358好评

    亚洲精品🔞🔞🔞男同Gay

  • 梅花十三扒开腿❌爆爽

    杨幂被❌吸乳歪歪

    黑露自慰❌❌喷水好爽

    13.82MB
    315好评

    人与嘼交互

  • 白丝校花🌸扒腿自慰网站91

    男生裸体㊙️无遮挡屁股

    黄色片少妇马🐴狗鸡婆黑色

    84.16MB
    217好评

    小舞张开双腿让唐三❌❌软件

  • 女人扒开腿㊙️让人桶爽斗罗大陆

    纲手疯狂❌喷水自慰爽

    美女壁纸动态壁纸免费观看

    45.15MB
    730好评

    国产高潮❌❌❌❌福利

  • 看中国古装黄色录像

    一级A片野外卖婬妇

    坤坤🍑插进别人的

    10.42MB
    186好评

    kayden kross❌❌❌

  • 鸣人XX❌XX佐良娜漫画

    秘塔被扒开腿做❌同人

    🔯黄🔯色🔯视🔯频小便一

    44.89MB
    366好评

    无需付费看美女直播的软件

  • 美女露出🐻给男生揉韩

    男模裸长毛J照无遮挡🔞网站

    嗯∽啊~轻点禁🔞揉胸国产

    91.10MB
    207好评

    娇妻和局长做爰

  • 3D同人18❌AV蒂法

    ❌❌❌❌悬吊绑梱网站

    动漫女被多触手怪❌挠痒痒

    30.99MB
    905好评

    雷电将军グン❤️らぅん

  • 快C我啊〜用力〜嗯〜轻一点视频

    又爽❌又黄❌免费900p

    AV➕无码➕高潮sm打屁股

    30.75MB
    544好评

    火车上少妇一级A片

  • 91PORNY❤️国产

    中国❌❌奶头❌❌裸体牛奶浴缸

    我的🍌伸到女同学🍑坤坤

    29.79MB
    121好评

    白狐视频♥成人版app

  • 伽罗被爆❌流白浆

    🔞🍌进🍑里❌❌❌片日产漫画

    《裸体肉欲》在线观看

    70.67MB
    459好评

    绝对真实偷拍盗摄高清视频

  • 国产男女无套✅在线观看🔞禁无码视频 title="国产free❌❌❌" class="0v5366j9r7414 app-list-img" src="https://t11.baidu.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

    沙奈朵被啪❌羞羞漫画入口

    999影片库♨️换肤搜索

  • 变态男的🍌伸到女人的🍑女生自慰过程✅(无遮挡)问百度 title="炕上农村性过程的视频" class="0v5366j9r7414 app-list-img" src="https://t10.baidu.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

    亚洲做受❌❌❌高潮肉蒲团

    蓝莓视频黄网站♥入口

  • 娜美被❌吸乳羞羞本子影视日本一级婬片A片AAA免费 title="14学生的隐私㊙️网站vk" class="0v5366j9r7414 app-list-img" src="https://t12.baidu.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

    Free❌❌❌性亚洲AV网址

    美女露出🐻让男生揉的网站

{{.转码Keywords}} 类似软件

猜你喜欢

相关攻略
包含 饿了么 的应用集
包含 饿了么 的应用集
评论
  • 扒开小舞❌狂揉❌难受❌3d 5天前
    校花放开腿让我❌爽了
  • 纲手被扒开腿做❌同自来也 8天前
    火影❌喷水自慰动漫同人
  • 动漫美女打开双腿❌❌含羞视频 2天前
    原神涩涩同人3D❌软件
  • 美女胸黄18禁❌壁纸免费 1天前
    体育生♀自慰喷出精子免费
  • ❌❌❌❌日本人A片看日本ApP 4天前
    被同学粗大的🐔巴进出法律咨询
  • 成人国产BV精品㊙️在线观看 6天前
    在线看免费播放片高清
  • 日本人真人做爰视频 0天前
    雷电将军同人18❌AⅤ黄漫网站
  • 云韵裸体被❌ 8天前
    ❤️❤️芭蕉视频在线观看
  • 捏白嫩㊙️美女光胸 1天前
    雏田爆❌漫画歪歪漫画CNMO
  • 国产精品18🈲进进出出17c 2天前
    3D无尽❌动漫❌触手18禁