2025/09/08 08:47:13 1,003次浏览

在《流浪地球 2》中图恒宇将 AI 永生数字生命变为可能,旨为将人类意识进行数字化备份并进行意识上传,以实现人类文明的完全数字化。

如今随着扩散模型的兴起极大,涌现出大量基于音频驱动的数字人生成工作。具体而言,语音驱动人类视频生成旨在基于参考图像与音频,合成面部表情与身体动作与音频高度同步的自然人像视频,在电影制作、游戏制作、虚拟现实、直播带货等领域具有广泛的应用前景。

但是,现有方法仅能生成时长不足 15 秒的短视频,一旦模型尝试生成超过 15 秒的视频,就会出现明显的身体变形与外观不一致现象,尤其集中在面部区域,这使目前数字人技术还无法达到《流浪地球 2》中图恒宇所创造的 AI 永生数字生命那样的程度,严重限制了其实际应用价值。

为了解决这一问题,一些方法尝试在音频驱动人类视频生成中引入一致性保持机制,但很少有工作深入探讨问题的根本原因。现有策略——无论是利用运动帧(Motion Frame),还是在推理过程中采用多种滑动窗口机制——都只能在一定程度上提升长视频的平滑性,却无法从根本上缓解无限时长头像视频的质量退化问题。

另一种可行方案是将长音频切分为多个片段,分别处理后再拼接成连续的视频。然而,这种方式不可避免地会在片段衔接处引入不一致和突兀的过渡。

因此,对于语音驱动的人类视频生成而言,实现端到端的无限时长高保真视频生成依然是一项极具挑战性的任务。

为了解决上述问题,来自复旦、微软、西交等研究团队提出 StableAvatar 框架,以实现无限时长音频驱动的高保真人类视频生成, 目前代码已开源,包括推理代码和训练代码。

方法简介

如下图所示,StableAvatar 是基于 Wan2.1-1.3B 基座模型开发的,首先将音频输入 Wav2Vec 模型中提取 audio embeddings,随后通过我们提出的音频适配器(Audio Adapter)进行优化,以减少潜变量分布误差的累积。

经过优化的 audio embeddings 会输入至去噪 DiT 中进行处理。参考图像的处理通过两条路径输入扩散模型:

在推理阶段,我们将原始输入视频帧替换为随机噪声,而保持其他输入不变。我们提出了一种新颖的音频原生引导(Audio Native Guidance)方法,以替代传统的 Classify-Free-Guidance,从而进一步促进唇形同步与面部表情生成。此外,我们引入了一种动态加权滑动窗口去噪策略,通过在时间维度上融合潜变量,以提升长视频生成过程中的视频平滑性。

Timestep-aware Audio Adapter

以往的方法在生成超过 15 秒的虚拟人视频时,往往出现明显的面部与身体扭曲,以及颜色漂移。这主要源于它们的音频建模方式:直接将第三方预训练的音频嵌入通过交叉注意力注入扩散模型。由于当前的扩散主干缺乏音频相关的先验知识,在注入过程中会在跨片段之间逐步累积潜在分布误差,使得后续片段的潜在分布逐渐偏离最优解。

为了解决这一问题,本文提出了一种新颖的 Timestep-aware Audio Adapter,其中音频嵌入通过多个仿射调制和交叉注意力模块与时间步嵌入和潜在特征进行交互,如上图(a)所述。

具体而言,初始音频嵌入(Query)依次与初始潜变量(Key 和 Value)进行交叉注意力计算,随后结合 timestep embeddings 进行 affine modulation,从而得到优化后的音频嵌入。由于 timestep embeddings 与潜变量高度相关,这一设计潜在地迫使扩散模型在每个时步上建模音频–潜变量的联合特征分布,从而有效缓解因缺乏音频先验而导致的潜变量分布误差累积,优化后的音频嵌入(Key 和 Value)最后通过交叉注意力与潜变量(Query)交互后注入扩散模型。

Audio Native Guidance

为了进一步增强音频同步性和面部表情,本文提出了一种新颖的 Audio Native Guidance 机制,用以替代传统的 CFG,它未考虑音频与潜在特征的联合关系。本文修改了去噪得分函数,以引导去噪过程朝着最大化音频同步性与自然性的方向前进。

由于优化后的 audio embeddings 本质上也依赖于潜变量,而不仅仅依赖外部音频信号,我们的 Audio Native Guidance 不再将 audio embeddings 作为一个独立于潜变量的外部特征,而是将其作为一个与潜变量相关的扩散模型的内部特征,我们的引导机制能够直接作用于扩散模型的采样分布,将生成过程引导至音频–潜变量的联合分布,并使扩散模型在整个去噪过程中不断优化其生成结果。

我们进一步将上述公式转化为得分函数形式:

因此最终推导公式为:

Dynamic Weighted Sliding-Window Strategy

与先前的滑窗去噪策略相比,我们在相邻窗口的重叠潜变量上引入了滑动融合机制,其中融合权重依据相对帧索引采用对数插值分布。融合后的潜变量会回注到两个相邻窗口中,从而保证中央窗口的两侧边界均由混合特征构成。

借助对数加权函数,可在视频片段之间的过渡中引入一种渐进式平滑效果:早期阶段的权重变化更为显著,而后期阶段变化趋于平缓,从而实现跨视频片段的无缝衔接,具体算法流程如下面算法表和图像所述。

生成结果示例

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

实验对比

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

复旦&微软提出首个端到端无限时长音频驱动的人类视频生成新框架!
复旦&微软提出首个端到端无限时长音频驱动的人类视频生成新框架!

工作后才知道苹果是最好的水果

「活动」kumawubiaotitest

00.71MB
版本V3.394.38
下载嗯~啊~快点🌿死我在线观看安装你想要的应用 更方便 更快捷 发现更多
喜欢 51%好评(05人)
评论 16
复旦&微软提出首个端到端无限时长音频驱动的人类视频生成新框架!截图0 复旦&微软提出首个端到端无限时长音频驱动的人类视频生成新框架!截图1 复旦&微软提出首个端到端无限时长音频驱动的人类视频生成新框架!截图2 复旦&微软提出首个端到端无限时长音频驱动的人类视频生成新框架!截图3 复旦&微软提出首个端到端无限时长音频驱动的人类视频生成新框架!截图4
详细信息
  • 软件大小: 5.0MB
  • 最后更新: 2025/09/08 08:47:13
  • 最新版本: V6.45.7
  • 文件格式: apk
  • 应用分类:ios-Android 女人扒开腿让男人桶㊙️九色
  • 使用语言: 中文
  • : 需要联网
  • 系统要求: 5.97以上
应用介绍
一,女女❌互慰吃奶互揉调教捆绑衣,曰本白丝JK裸体被❌出水视频
二,妓女AA片,男人和女人干逼软件
三,FC2PPV完全初撮り♥生,喷水传媒触手18🈲️🈲️
四,败火老熟女2-ThePorn,打扑克爽❌又黄❌视频内衣
五,正在播放あねちじょ♥无修国语,02裸体❌开腿打扑克
六,胡桃疯狂自慰❌漫画,巨胸动漫魅魔下裸❌小说,Porn JAV HD Online2016 ✅
七,黑料专区 爆料反差
【联系我们】
客服热线:134-2881-646
加载更多
版本更新
V7.5.17
女同❌互慰互吃乃
  • 大学生裸身❌❌免费网站

    亚洲AV无码㊙️蜜桃诸光浠

    性裸❌❌❌❌❌A片舒琪

    744.49MB
    106好评

    少妇婬妇又爽又紧又爽A片漫画

  • 真人性做爰遮A片费

    奶头又大又❌又白喷奶水古代女

    giantess🔞自慰

    47.00MB
    28好评

    91娇喘❌❌⭕⭕白丝漫画

  • 免费🔞无码进二次元

    18🈲🍆🍑无套直国

    蓝莓视频2024

    13.90MB
    316好评

    男c男🔞黄㊙️❌B站男到男脏

  • ryskart中国极品人体欣赏

    无尽❌裸体❌3D香椿

    Jαpαnese熟女乱多毛

    53.65MB
    274好评

    国产精品㊙️密A片老牛视频

  • 老碟片在线播放免费看电视剧大全

    小🐤🐤戳进🍑视频自拍

    黄色录像片二漫优画动片

    71.49MB
    700好评

    成人黄app❌免费网站

  • 亚洲AV㊙️无码一区桃

    XXX摘花处破HD

    动漫❌狂揉❌羞羞3d火影

    83.56MB
    331好评

    成人扒开🍑视频

  • 荒野乱斗同人18❌漫画免费

    玖辛奈裸体被❌漫画

    91丨九色丨蝌蚪丨熟女

    23.38MB
    104好评

    少萝扒开腿㊙️

  • XNXXX中国👙👙18

    wd禁🍆🍑🔞❌

    老师扒开❌了一夜动漫

    50.81MB
    921好评

    91在线无精精品㊙️入口楼乃

  • 91人妻呻吟91♥️

    动漫涩涩✅免费

    火影裸体❌开腿黄漫

    83.95MB
    565好评

    奇优在线💚

  • FreeJAVHDOnline✅

    fuck❌❌❌carton

    老妇光溜溜大炕上

    83.20MB
    759好评

    白丝舞蹈生被c的娇喘连连

  • 外国袖诊老熟女

    被黑人猛躁10次高潮视频冫77

    夜兰被❌自慰爽死小说

    32.11MB
    621好评

    奶头又大又❌又白喷奶水女

  • 火线传奇❌18禁小说

    男人把坤❌进女人的身体

    巴西美女与动交ZoZ0z啊灬啊灬啊灬快灬性

    26.15MB
    277好评

    8KK.CC茄子视频🍆

  • 老太裸体性做爰

    触手❤魅魔の足を罚す动漫

    美女露出🐻让男生揉的电

    65.38MB
    741好评

    ❌裸乳❌白丝❌3d在线观看

  • 中国少妇三東京熱看片資源AV下载

    动漫被❌到爽喷水视频

    扒开JK㊙️露出奶头

    54.13MB
    755好评

    原神凝光裸体❌开腿网站

  • jk漫画appH漫天堂♥入口

    🍌伸进女人🍑里

    奇优影视手机版❤免费

    57.15MB
    681好评

    把jiji❌进美女的屁屁里网站

  • 小🐤?戳到女人?🐤

    日本free❌❌❌少妇车

    1—6征服美艳的护士王燕

    24.54MB
    351好评

    关晓彤自慰❌❌喷水好爽

  • 少妇被❎免费网站在线视频18摸

    91老师㊙️片黄在线观看

    18🈲do爱动漫视频

    13.01MB
    313好评

    女扒开腿㊙️让人尿爽

  • 法国特级婬片A片免费看

    欧美顶级黄色大片软件下载

    18禁❌裸体❌动漫❌过滤器

    84.19MB
    215好评

    小🐔🐔戳女生无遮挡又大又黄

  • 91♥️丨PORNY白浆

    做爰❌❌❌视频毛片人

    中国18sex

    45.28MB
    731好评

    无尽裸体触手3D洛天依

  • 嫩BBB槡BBBB槡BBBB小号

    美女🈲🈲流浆❌❌水免费

    JK漫画❌黄漫免费网站

    10.26MB
    185好评

    成人🔞色情美女裸体刷九一

  • 性少妇ViodeosexfyeeXXXX片

    男GayGays✅✅免费网站

    如何操乄❌女♀

    44.60MB
    368好评

    云缨疯狂❌喷水爽18禁

  • 成人🔞色情美女裸体的网站

    富婆一级婬片A片AAA毛片91

    动漫❌触手❌3d❌视频

    91.43MB
    204好评

    成人羞羞视频🔞免费

  • .裸体美女❌❌免费视频

    八重神子被❌黄漫

    小🐤🐤入🍑🍑视频的小说

    30.58MB
    902好评

    照美冥被爆❌图

  • 明星被❌免费网站视频在线

    男男羞羞0被❌出白浆www

    91♥在线播放观看竹菊

    30.25MB
    543好评

    男女人私㊙️网站捆绑

  • ⚠️妖精动漫sss入口

    娜扎ai被❌视频无码网站

    あねちじょ♥无修在线观看

    29.71MB
    125好评

    国产精品㊙️桃花视频

  • 老师脱👙让学生摸🐻www..com

    Free❌㐅❌性HD丝袜

    💚奇优影院最新

    70.88MB
    451好评

    小医仙3D同人18❌AV网站

  • 小樱被佐助扒开腿做❌18禁18黄a片大全 title="澳门Aaaa做爱视频" class="0v5366j9r7414 app-list-img" src="https://t11.baidu.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

    www成人🔞在线看

    神里绫华疯狂❌自慰喷水

  • 成全视频免费观看在线观看第14集预告电视剧被❌到爽🔞流片动漫漫画 title="香港三级全黄做爰无马赛克" class="0v5366j9r7414 app-list-img" src="https://t10.baidu.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

    天堂久久㊙️精品忘忧草

    奇优影院❤

  • 扒掉乳罩㊙️露出奶头视频网站JlZZXXXX😍53old title="成人免费毛片❌❌❌播放" class="0v5366j9r7414 app-list-img" src="https://t12.baidu.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

    高跟91❌⭕️

    ㊙️成人jK视频网站

{{.转码Keywords}} 类似软件

猜你喜欢

相关攻略
包含 饿了么 的应用集
包含 饿了么 的应用集
评论
  • amoremilan🍕 4天前
    沙奈朵强❌乳喷本子视频
  • 1自慰✅免费观看网站 5天前
    高潮无遮免费黄片
  • 校花扒开🍑给3人 0天前
    老师GayGays✅免费自慰
  • 我要看黄色毛片中国黄色毛片中国耄耋老妇性视频hd视频 5天前
    小🐤🐤入🍑🍑视频的网站
  • 日本❌❌❌❌护士6999 7天前
    女厕撒尿㊙️在线看
  • japhdXXⅩ 1天前
    小🐤🐤戳进🍑无遮挡网站在线观看
  • 18🈲勤禁の🍆❌❌❌蓝莓 1天前
    憋尿play18🈲️
  • 扒开美女❌狂揉❌下部第一集 4天前
    XNXXX日本👙👙16车
  • 仙踪林视频一区二区三区 6天前
    男女c🔞黄㊙️❌网站麻豆
  • 网站小黃片㊙️🈲 1天前
    扒掉老师内裤❌