2025/09/07 02:25:49 1,266次浏览

在《流浪地球 2》中图恒宇将 AI 永生数字生命变为可能，旨为将人类意识进行数字化备份并进行意识上传，以实现人类文明的完全数字化。

如今随着扩散模型的兴起极大，涌现出大量基于音频驱动的数字人生成工作。具体而言，语音驱动人类视频生成旨在基于参考图像与音频，合成面部表情与身体动作与音频高度同步的自然人像视频，在电影制作、游戏制作、虚拟现实、直播带货等领域具有广泛的应用前景。

但是，现有方法仅能生成时长不足 15 秒的短视频，一旦模型尝试生成超过 15 秒的视频，就会出现明显的身体变形与外观不一致现象，尤其集中在面部区域，这使目前数字人技术还无法达到《流浪地球 2》中图恒宇所创造的 AI 永生数字生命那样的程度，严重限制了其实际应用价值。

为了解决这一问题，一些方法尝试在音频驱动人类视频生成中引入一致性保持机制，但很少有工作深入探讨问题的根本原因。现有策略——无论是利用运动帧（Motion Frame），还是在推理过程中采用多种滑动窗口机制——都只能在一定程度上提升长视频的平滑性，却无法从根本上缓解无限时长头像视频的质量退化问题。

另一种可行方案是将长音频切分为多个片段，分别处理后再拼接成连续的视频。然而，这种方式不可避免地会在片段衔接处引入不一致和突兀的过渡。

因此，对于语音驱动的人类视频生成而言，实现端到端的无限时长高保真视频生成依然是一项极具挑战性的任务。

为了解决上述问题，来自复旦、微软、西交等研究团队提出 StableAvatar 框架，以实现无限时长音频驱动的高保真人类视频生成， 目前代码已开源，包括推理代码和训练代码。

方法简介

如下图所示，StableAvatar 是基于 Wan2.1-1.3B 基座模型开发的，首先将音频输入 Wav2Vec 模型中提取 audio embeddings，随后通过我们提出的音频适配器（Audio Adapter）进行优化，以减少潜变量分布误差的累积。

经过优化的 audio embeddings 会输入至去噪 DiT 中进行处理。参考图像的处理通过两条路径输入扩散模型：

在推理阶段，我们将原始输入视频帧替换为随机噪声，而保持其他输入不变。我们提出了一种新颖的音频原生引导（Audio Native Guidance）方法，以替代传统的 Classify-Free-Guidance，从而进一步促进唇形同步与面部表情生成。此外，我们引入了一种动态加权滑动窗口去噪策略，通过在时间维度上融合潜变量，以提升长视频生成过程中的视频平滑性。

Timestep-aware Audio Adapter

以往的方法在生成超过 15 秒的虚拟人视频时，往往出现明显的面部与身体扭曲，以及颜色漂移。这主要源于它们的音频建模方式：直接将第三方预训练的音频嵌入通过交叉注意力注入扩散模型。由于当前的扩散主干缺乏音频相关的先验知识，在注入过程中会在跨片段之间逐步累积潜在分布误差，使得后续片段的潜在分布逐渐偏离最优解。

为了解决这一问题，本文提出了一种新颖的 Timestep-aware Audio Adapter，其中音频嵌入通过多个仿射调制和交叉注意力模块与时间步嵌入和潜在特征进行交互，如上图（a）所述。

具体而言，初始音频嵌入（Query）依次与初始潜变量（Key 和 Value）进行交叉注意力计算，随后结合 timestep embeddings 进行 affine modulation，从而得到优化后的音频嵌入。由于 timestep embeddings 与潜变量高度相关，这一设计潜在地迫使扩散模型在每个时步上建模音频–潜变量的联合特征分布，从而有效缓解因缺乏音频先验而导致的潜变量分布误差累积，优化后的音频嵌入（Key 和 Value）最后通过交叉注意力与潜变量（Query）交互后注入扩散模型。

Audio Native Guidance

为了进一步增强音频同步性和面部表情，本文提出了一种新颖的 Audio Native Guidance 机制，用以替代传统的 CFG，它未考虑音频与潜在特征的联合关系。本文修改了去噪得分函数，以引导去噪过程朝着最大化音频同步性与自然性的方向前进。

由于优化后的 audio embeddings 本质上也依赖于潜变量，而不仅仅依赖外部音频信号，我们的 Audio Native Guidance 不再将 audio embeddings 作为一个独立于潜变量的外部特征，而是将其作为一个与潜变量相关的扩散模型的内部特征，我们的引导机制能够直接作用于扩散模型的采样分布，将生成过程引导至音频–潜变量的联合分布，并使扩散模型在整个去噪过程中不断优化其生成结果。

我们进一步将上述公式转化为得分函数形式：

因此最终推导公式为：

Dynamic Weighted Sliding-Window Strategy

与先前的滑窗去噪策略相比，我们在相邻窗口的重叠潜变量上引入了滑动融合机制，其中融合权重依据相对帧索引采用对数插值分布。融合后的潜变量会回注到两个相邻窗口中，从而保证中央窗口的两侧边界均由混合特征构成。

借助对数加权函数，可在视频片段之间的过渡中引入一种渐进式平滑效果：早期阶段的权重变化更为显著，而后期阶段变化趋于平缓，从而实现跨视频片段的无缝衔接，具体算法流程如下面算法表和图像所述。

生成结果示例

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

实验对比

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

复旦&微软提出首个端到端无限时长音频驱动的人类视频生成新框架!
首页 > > 破碎的旅程之追寻
复旦&微软提出首个端到端无限时长音频驱动的人类视频生成新框架!

杨幂张小斐 从校服到礼服

「活动」kumawubiaotitest

47.71MB
版本V3.90.38
下载APK 高速下载
下载与僧侣的合交夜未删减百度云安装你想要的应用 更方便 更快捷 发现更多
喜欢 51%好评(246人)
评论 16
复旦&微软提出首个端到端无限时长音频驱动的人类视频生成新框架!截图0 复旦&微软提出首个端到端无限时长音频驱动的人类视频生成新框架!截图1 复旦&微软提出首个端到端无限时长音频驱动的人类视频生成新框架!截图2 复旦&微软提出首个端到端无限时长音频驱动的人类视频生成新框架!截图3 复旦&微软提出首个端到端无限时长音频驱动的人类视频生成新框架!截图4
详细信息
  • 软件大小: 950.7MB
  • 最后更新: 2025/09/07 02:25:49
  • 最新版本: V6.0.7
  • 文件格式: apk
  • 应用分类:ios-Android 免费看变态网站❤大全
  • 使用语言: 中文
  • : 需要联网
  • 系统要求: 5.728以上
应用介绍
一，成人免费毛片❌❌❌高压监狱，羞耻剃毛➕进入
二，樱岛麻衣疯狂❌喷水自，学生14XXXXL美国妓女一级A片
三，美女被c🔞🔞💃💃❌❌在线观看，班长🌿我～慢点～好爽好日本
四，无尽❌大胸❌动漫，小太正攻警卫员受Gay❌❌动漫
五，触手❌大胸❌女仆❌视频，免费看裸体美女🔞🔞毛豆传媒
六，免费🔞成人❌❌❌深夜夜照片,美女隐私㊙️部位，漏出双奶头来被❌无尽
七，⚠️羞羞漫画sss破解版ios
【联系我们】
客服热线：134-2881-646
加载更多
版本更新
V7.5.17
嗯∽啊～轻点禁🔞视频漫画
  • 喷水传媒触手18🈲️🈲️

    ♥禁漫画天堂♥不知火舞

    把🍌伸进女人的🍑做运动视频

    3.04MB
    102好评

    永久免费🔞🔞🔞网站入口

  • :韩国女主播裸体吃🐔🐔

    动漫美女裸体被❌涩涩动漫环画

    国产乱妇交换做爰XXXⅩ麻豆

    6.49MB
    71好评

    白嫩㊙️光屁屁网站外国

  • 男生被揉搓时㊙️视频

    新疆美女A片免费看

    男人㊙️桶美女屁股APP

    13.27MB
    312好评

    娇小vⅰde0sHD极品

  • 女同被❌到爽🔞白桃美人漫画

    www成人🔞色情美女流水

    魅魔裸体被❌视频无码VK

    53.10MB
    276好评

    东北澡堂偷拍洗澡福利视频

  • 老太做爰全过程免费

    男生小🐤🐤戳进🍑无遮挡看片

    XXX无套刘涛在线观看

    71.03MB
    701好评

    jaop白嫩丰满老师vieheph

  • 虐乳➕电击➕虐菊小说

    www.色情对白有声小说

    91白浆㊙️

    83.25MB
    331好评

    鞠婧祎被❌流出白色液体

  • poren720HD ❌❌❌

    丰满少妇强力进入毛片自拍

    Sakura被扒开腿做❌视频

    23.02MB
    105好评

    女同被❌到爽🔞流片女明星

  • 黄❌色❌网乂入站

    成人做爰视频www爽爽爽文章

    Naruto❌hinata18禁Hentai

    50.76MB
    925好评

    打光屁股㊙️网站

  • COS自慰❌❌羞羞网站

    韩国美女裸体❌开腿图片视频

    黄片搞鸡Abb

    83.85MB
    568好评

    姬小满被❌羞羞同人动漫

  • 成人快豹

    无尽❌裸体❌白丝❌

    AV外网在线观看免费无广性感

    83.67MB
    750好评

    免费看的偷拍白领洗澡视频

  • 电锯人玛奇玛拔萝卜同人

    小孩csgo免费观看高清

    干逼应用视频

    32.52MB
    629好评

    四川人欧美⭕⭕⭕⭕XX高清

  • 色情❤️自慰中出18🈲️

    小受受扒开屁股挨🌿作文

    免费无遮挡🔞视频国产69精品久久99卡顿的解决方法

    26.77MB
    273好评

    女人又爽❌又黄❌免费女仆

  • 女学生被❌c🐻扒衣服视频

    AA级小网站

    小舞好湿⋯好紧⋯太爽了漫画

    65.88MB
    747好评

    鲁大师影院免费高清观看

  • 金智秀裸体❌❌自慰动漫

    班长摘下奶罩🐻让我爽了一节课动漫

    女女S✅免费网站

    54.70MB
    750好评

    欧美性受❌❌❌96

  • 亚洲熟女啪啪凸凸

    美女mm视频

    ⚠️羞羞漫画sss入口网站

    57.53MB
    680好评

    爆乳十八禁🔞动漫

  • 白丝校花🌸扒腿自慰推特下载

    中国男人洗澡㊙️免费看

    意大利复古XXXⅩⅩⅩA片

    24.94MB
    354好评

    赵露思裸被❌高清视频

  • 不知火舞被❌到爽流白桨

    国产粉嫩小泬无套无码下载软件

    打女光屁股sp㊙️网站

    13.23MB
    319好评

    chinese老太交hd

  • 我丰满的岳伦3

    不用登录也不用实名的手游

    欧美性受❌❌❌96

    84.70MB
    219好评

    成人网站动漫😄😒😠

  • 偷看美女隐私㊙️放屁

    扒开美女疯狂揉❌配照小说

    女高中生❤脱裙子打屁股╳

    45.70MB
    736好评

    小雯的性荡生活17部分

  • 密聊2688.tv

    原神cos裸体被❌羞羞网站

    www成人🔞色秘密研究所

    10.02MB
    188好评

    美女的拉屎隐私㊙️网站

  • qq怎么用❤拼我爱你

    下载免费看中国老年人搞B

    囚徒扒开腿做❌

    44.42MB
    362好评

    男女裸体㊙️无遮视频

  • Japan白嫩丰满老师videos

    巨乳美女❌❌爆乳视频

    灭火宝贝3美版法国航空

    91.55MB
    204好评

    女学生被❌c🐻v扒衣a

  • 欧美性❌XX❌XX❌偷窥

    人c交2o〇2○O农场

    日本❌裸体❌巨乳

    30.95MB
    907好评

    美女露100‰双奶头无遮免费网站

  • 艾米丽被❌视频无码

    freesexxxxsexchianxx中国xxx

    中国老太奶大2

    30.23MB
    541好评

    美女被❌羞羞爆浆视频网站

  • 扒开美女❌狂揉❌动漫3d

    亚洲打美女屁股㊙️SP网站

    䄩的世界珍妮被❌到爽视频

    29.96MB
    128好评

    被❌到爽十八禁流免费麻豆

  • 18🈲🍑无套直蓝

    岳与胥的肉欲HD中字

    动漫裸体❌挤奶羞羞洗澡漫画

    70.48MB
    457好评

    白丝袜❌美女扒开内衣视频

  • GayTube❌❌❌3D动漫韩国十八🈲 title="美女裸体㊙️无遮热舞" class="0v5366j9r7414 app-list-img" src="https://t11.baidu.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

    cf灵狐去衣内裸❌🔞

    www.无尽喷潮呻吟快感高潮

    详情
  • 巨乳爆乳被❌❌❌动漫18🈲白浆喷水温柔乡 title="朱竹清被❌吸乳羞羞3D" class="0v5366j9r7414 app-list-img" src="https://t10.baidu.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

    苍井空张开腿被躁

    小🐤🐤入🍑🍑动漫

    详情
  • 㓜女BBwXXXX另类户外蜜桃㊙️无码一区二区三 title="成人羞羞🔞国产在线观看" class="0v5366j9r7414 app-list-img" src="https://t12.baidu.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

    夫妻性生活动态图

    小🐤🐤戳进老师🍑里面无挡漫画

    详情

{{.转码Keywords}} 类似软件

猜你喜欢

相关攻略
包含 饿了么 的应用集
包含 饿了么 的应用集
评论
  • 看美女裸体❌❌免费网站动漫 3天前
    嫩嫩BBBBBBBBB免费网站
  • 蜜桃臂被❌❌❌羞乳免费网站 9天前
    男生自慰AAAAAA片
  • 卫生间6分35秒视频 3天前
    18🈲🍆🍑无套直动漫
  • 动漫男男裸体啪啪❌漫画原神 3天前
    骇爪裸被❌照片无码
  • 一级侍黄AA裸体片 4天前
    性国产X❌x辛普森HD
  • 原神扒开胡桃❌狂揉❌难受女同 9天前
    原神扒开胡桃❌狂揉❌难受女同
  • 老熟妇浓毛老太片3 0天前
    美女脱👙露出🐻吃我的奶
  • 裸乳被爆❌白浆 2天前
    巨乳❌扒衣❌扒开腿动漫游戏
  • 女人荫蒂被添全过程A片免费 6天前
    班花扒开🌸让我C
  • 芙宁娜被❌吸乳脱网站在线观看 9天前
    美女裸体㊙️直播助眠
男人把女人❌到爽3分钟视频
欧洲AV➕无码➕高潮➕ -安卓手机网上最贴心的Android软件应用平台! 版权所有：牡丹生活 www.zhixiao1.cn:443 蜀ICP备2023036221号-2