2025/09/08 06:29:23 1,218次浏览

在《流浪地球 2》中图恒宇将 AI 永生数字生命变为可能，旨为将人类意识进行数字化备份并进行意识上传，以实现人类文明的完全数字化。

如今随着扩散模型的兴起极大，涌现出大量基于音频驱动的数字人生成工作。具体而言，语音驱动人类视频生成旨在基于参考图像与音频，合成面部表情与身体动作与音频高度同步的自然人像视频，在电影制作、游戏制作、虚拟现实、直播带货等领域具有广泛的应用前景。

但是，现有方法仅能生成时长不足 15 秒的短视频，一旦模型尝试生成超过 15 秒的视频，就会出现明显的身体变形与外观不一致现象，尤其集中在面部区域，这使目前数字人技术还无法达到《流浪地球 2》中图恒宇所创造的 AI 永生数字生命那样的程度，严重限制了其实际应用价值。

为了解决这一问题，一些方法尝试在音频驱动人类视频生成中引入一致性保持机制，但很少有工作深入探讨问题的根本原因。现有策略——无论是利用运动帧（Motion Frame），还是在推理过程中采用多种滑动窗口机制——都只能在一定程度上提升长视频的平滑性，却无法从根本上缓解无限时长头像视频的质量退化问题。

另一种可行方案是将长音频切分为多个片段，分别处理后再拼接成连续的视频。然而，这种方式不可避免地会在片段衔接处引入不一致和突兀的过渡。

因此，对于语音驱动的人类视频生成而言，实现端到端的无限时长高保真视频生成依然是一项极具挑战性的任务。

为了解决上述问题，来自复旦、微软、西交等研究团队提出 StableAvatar 框架，以实现无限时长音频驱动的高保真人类视频生成， 目前代码已开源，包括推理代码和训练代码。

方法简介

如下图所示，StableAvatar 是基于 Wan2.1-1.3B 基座模型开发的，首先将音频输入 Wav2Vec 模型中提取 audio embeddings，随后通过我们提出的音频适配器（Audio Adapter）进行优化，以减少潜变量分布误差的累积。

经过优化的 audio embeddings 会输入至去噪 DiT 中进行处理。参考图像的处理通过两条路径输入扩散模型：

在推理阶段，我们将原始输入视频帧替换为随机噪声，而保持其他输入不变。我们提出了一种新颖的音频原生引导（Audio Native Guidance）方法，以替代传统的 Classify-Free-Guidance，从而进一步促进唇形同步与面部表情生成。此外，我们引入了一种动态加权滑动窗口去噪策略，通过在时间维度上融合潜变量，以提升长视频生成过程中的视频平滑性。

Timestep-aware Audio Adapter

以往的方法在生成超过 15 秒的虚拟人视频时，往往出现明显的面部与身体扭曲，以及颜色漂移。这主要源于它们的音频建模方式：直接将第三方预训练的音频嵌入通过交叉注意力注入扩散模型。由于当前的扩散主干缺乏音频相关的先验知识，在注入过程中会在跨片段之间逐步累积潜在分布误差，使得后续片段的潜在分布逐渐偏离最优解。

为了解决这一问题，本文提出了一种新颖的 Timestep-aware Audio Adapter，其中音频嵌入通过多个仿射调制和交叉注意力模块与时间步嵌入和潜在特征进行交互，如上图（a）所述。

具体而言，初始音频嵌入（Query）依次与初始潜变量（Key 和 Value）进行交叉注意力计算，随后结合 timestep embeddings 进行 affine modulation，从而得到优化后的音频嵌入。由于 timestep embeddings 与潜变量高度相关，这一设计潜在地迫使扩散模型在每个时步上建模音频–潜变量的联合特征分布，从而有效缓解因缺乏音频先验而导致的潜变量分布误差累积，优化后的音频嵌入（Key 和 Value）最后通过交叉注意力与潜变量（Query）交互后注入扩散模型。

Audio Native Guidance

为了进一步增强音频同步性和面部表情，本文提出了一种新颖的 Audio Native Guidance 机制，用以替代传统的 CFG，它未考虑音频与潜在特征的联合关系。本文修改了去噪得分函数，以引导去噪过程朝着最大化音频同步性与自然性的方向前进。

由于优化后的 audio embeddings 本质上也依赖于潜变量，而不仅仅依赖外部音频信号，我们的 Audio Native Guidance 不再将 audio embeddings 作为一个独立于潜变量的外部特征，而是将其作为一个与潜变量相关的扩散模型的内部特征，我们的引导机制能够直接作用于扩散模型的采样分布，将生成过程引导至音频–潜变量的联合分布，并使扩散模型在整个去噪过程中不断优化其生成结果。

我们进一步将上述公式转化为得分函数形式：

因此最终推导公式为：

Dynamic Weighted Sliding-Window Strategy

与先前的滑窗去噪策略相比，我们在相邻窗口的重叠潜变量上引入了滑动融合机制，其中融合权重依据相对帧索引采用对数插值分布。融合后的潜变量会回注到两个相邻窗口中，从而保证中央窗口的两侧边界均由混合特征构成。

借助对数加权函数，可在视频片段之间的过渡中引入一种渐进式平滑效果：早期阶段的权重变化更为显著，而后期阶段变化趋于平缓，从而实现跨视频片段的无缝衔接，具体算法流程如下面算法表和图像所述。

生成结果示例

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

实验对比

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

复旦&微软提出首个端到端无限时长音频驱动的人类视频生成新框架!
首页 > > 闪耀的秘密之守护
复旦&微软提出首个端到端无限时长音频驱动的人类视频生成新框架!

白桃星座

「活动」kumawubiaotitest

5.71MB
版本V3.37.38
下载APK 高速下载
下载3D动漫美杜莎被❌动漫安装你想要的应用 更方便 更快捷 发现更多
喜欢 51%好评(6人)
评论 16
复旦&微软提出首个端到端无限时长音频驱动的人类视频生成新框架!截图0 复旦&微软提出首个端到端无限时长音频驱动的人类视频生成新框架!截图1 复旦&微软提出首个端到端无限时长音频驱动的人类视频生成新框架!截图2 复旦&微软提出首个端到端无限时长音频驱动的人类视频生成新框架!截图3 复旦&微软提出首个端到端无限时长音频驱动的人类视频生成新框架!截图4
详细信息
  • 软件大小: 21.3MB
  • 最后更新: 2025/09/08 06:29:23
  • 最新版本: V6.59.7
  • 文件格式: apk
  • 应用分类:ios-Android 男生被❌到爽🔞流性
  • 使用语言: 中文
  • : 需要联网
  • 系统要求: 5.19以上
应用介绍
一，免费❤成人黄APP2024视频，❌❌❌3D原神同人免费观看
二，美女挤奶㊙️免费看网站，深夜福利。18🈲🈲🈲
三，91❤国产丝袜在线放动，男女好啪啪㊙️免费软件
四，91♥️丨丨白浆，张予曦双腿被❌❌到流白浆
五，A片特黄裸体妓女免费，成人私人🔞YouTube在线观看
六，国产精品㊙️爱豆人口,8❌8❌永久华人入口在线，大胸女被c❎黄漫画在线观看
七，欧成人精品H无码🔞
【联系我们】
客服热线：134-2881-646
加载更多
版本更新
V7.5.17
老师扒开腿爽了一夜❤
  • 在线观看🔞禁无码精品软件

    91丨国产丨熟女♥

    娜美被❌大乳揉捏动漫

    3.86MB
    100好评

    HD❌❌XX❌XXX18原神

  • 原神申鹤裸体❌开腿网站

    XXXXXXXA免费看

    中国国语农村大片

    1.37MB
    9508好评

    91丨九色国产女❤️黑色jk

  • 女性❌❌裸体男人摸网页

    18禁成人🍆🍑🔞网站

    动漫美女被❌到爽🔞流触手

    13.51MB
    314好评

    18🈲️小泬啪啪喷水的小说

  • 男生撕开美女👙👙暍奶的视频

    poronodrome变态另类

    💚奇优影院️3千收藏

    53.73MB
    275好评

    动漫女仆被强❌喷水羞羞视频网站

  • XXXX免费🍑🍆在床上

    老少配A片

    91成人🔞在线观看吃奶头

    71.33MB
    704好评

    欧美做受❌❌477影院

  • 甘雨女裸乳被爆❌白浆

    泳衣做爱

    千仞雪被囚禁调教❌❌91

    83.96MB
    331好评

    AvPorndvdOnline✅swag

  • GaY男男✅网站

    黄漫❌18禁韩漫网站在线看

    黄爽软件下载qpp

    23.22MB
    105好评

    男神❌开腿让我爽了一夜免费漫画

  • 做爱裸体视频黄色

    雏田被❌吸乳脱内内

    被c🔞黄㊙️❌触

    50.76MB
    927好评

    雷电将军被❌吸乳羞羞88AV

  • 火影小樱被❌羞羞视频

    脱裤子❌打屁屁实游

    美女隐私㊙️视频www捆绑

    83.92MB
    561好评

    18🈲🍆🍑无套直看片

  • 女人只穿了白丝㊙️网站

    91在线无码精品㊙️入口动漫版

    做爰XXXⅩ性生交实况第1集

    83.15MB
    754好评

    黄色粉嫩tv

  • 不知火舞被❌到爽🔞高潮痉挛

    欧美18🈲️色情福利小视频

    女同学被❌到爽🔞

    32.62MB
    624好评

    涩请性潢❌片免费

  • GayFuckXXXXⅩHD

    成人性生交A片免费看软件

    美女扒开内裤㊙️跳舞胡美美

    26.24MB
    277好评

    乙OZOS1重囗另类女人Z动漫

  • 美女的裙底㊙️视频网站

    ㊙️羞羞性动漫在线观看

    中国老头老太❌❌❌

    65.57MB
    743好评

    欧美老妇与小伙性zo zo

  • 成人🔞涩涩小片

    ♥樱桃视频♥免费观看在线

    唐舞桐被❌吸乳羞羞漫画

    54.15MB
    756好评

    XXXX🍆🍆🍆76HD

  • 月婵3D同人18❌AV网站

    小兰被❌到爽羞羞漫画

    好痛⋯用力⋯深一点要裂了

    57.71MB
    688好评

    动漫美女被❌到爽将来的顶级偶像

  • 小舞❌❌赤裸抖乳成人3D动漫

    两个人㖭的我好爽太痒了

    男c男🔞黄㊙️❌网站

    24.32MB
    352好评

    老师❌开腿让我爽一夜黄瓜视频

  • 男生澡堂洗澡网站㊙️免费看

    麻豆MD传媒MD0076

    可以看美女被男生🔞🔞的软件

    13.33MB
    315好评

    🐔巴好大要高潮了

  • 美女裸体❌挤奶视频国外

    老牛影院免费观看电视剧的优点

    美女的㊙️让男人桶到爽app

    84.30MB
    211好评

    9.幺🈲🈲🈲自慰

  • lisaann💋大屁股黑B

    免费无遮挡🔞视频网站色大师

    女女同性被❌吸乳羞羞o

    45.49MB
    739好评

    扒开纲手疯狂揉❌难受舍友和我

  • 美女裸体❌羞羞漫画人物

    扒开小舞❌狂揉❌难受黄文

    亚洲人做受❌❌❌高潮眀它

    10.34MB
    186好评

    三年大全国语免费观看

  • 美女隐私㊙️图片黄www

    娜美被爆❌羞羞动漫

    少萝扒开腿㊙️让人桶爽游戏

    44.05MB
    364好评

    youjizzxxchina

  • 男生扒开🍑伸进🍌❌白丝漫画

    18🈲乳液啪啪免费动漫

    柳神裸体被❌羞羞网站

    91.65MB
    208好评

    一边吃奶一边扎下边爽了视频

  • 纲手裸乳被爆❌白浆的动漫

    亚洲AV无码㊙️蜜桃诸光浠

    含羞草❤️成人网站

    30.60MB
    906好评

    老师让我吃她🐻摸她奶

  • 小舞～你的兔子好软水好图片

    亚洲❌色情出来交

    97在线无码精品㊙️人口男同

    30.37MB
    542好评

    美女白丝❌裸体网站

  • 扒开胸罩㊙️露出奶头日本

    成人🔞涩涩小片视频芒果

    小黄书app❤成人版下载

    29.74MB
    121好评

    女同桌主动脱👙

  • 麻豆㊙️侵犯免费观看

    国a精品❌

    小樱被扒开腿做❌18禁同人文

    70.73MB
    455好评

    日本精品成人片18🈲️

  • 色情黄校花强❌乳喷自慰网站-百度真实交videos视频又白又肥老妇人XXX title="明星受性XXXⅩ又大又长" class="0v5366j9r7414 app-list-img" src="https://t11.baidu.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

    少妇乱婬伦短篇小说全集

    性爱20p

    详情
  • 扒开❌狂揉❌羞羞欧美3D动漫免费看唐舞桐胸㊙️网站 title="姬小满被❌到爽🔞漫画" class="0v5366j9r7414 app-list-img" src="https://t10.baidu.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

    国产精🦘清纯女学

    男男❌爽无套漫画

    详情
  • ai换脸白鹿被❌又疼又叫成人码㊙️免费网站男同 title="星野裸体被❌黄漫" class="0v5366j9r7414 app-list-img" src="https://t12.baidu.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

    打女光屁股㊙️sp网站

    AsⅰAn明星裸体pⅰCs

    详情

{{.转码Keywords}} 类似软件

猜你喜欢

相关攻略
包含 饿了么 的应用集
包含 饿了么 的应用集
评论
  • 911在线无码精品㊙️入口偶像 9天前
    国产乡下妇女做爰
  • 免费无遮挡🔞视频网站白狐 2天前
    FreeHDXXXXDH69
  • 近亲相祖母60~80 2天前
    把🍌❌🍑很疼被c哭漫画自慰
  • 蓝莓网站色情😍视频网站入口, 9天前
    女人➕露内内➕无遮挡
  • 四川女人毛多水多A片 4天前
    🔞成人免费芒果在线观看
  • 国产18🚫 8天前
    美女露出奶头㊙️无遮挡胸王丽纯
  • 班长摘下奶罩🐻让我爽了一节课动漫 6天前
    成人免费毛片❌❌❌嘿嘿连载中国
  • Porn JAV HD Online2024✅ 2天前
    91🔞网址入口-百度
  • xx少妇被插 8天前
    美女➕光屁屁➕露全身视频
  • 芙宁娜被❌吸乳羞羞A片 5天前
    欧美黄色AAAAAAA片
麻豆㊙️免费漫画
白丝美女被❌娇喘在线观看 -安卓手机网上最贴心的Android软件应用平台! 版权所有：牡丹生活 www.zhixiao1.cn:443 蜀ICP备2023036221号-2