2025/09/06 23:39:27 1,700次浏览

在《流浪地球 2》中图恒宇将 AI 永生数字生命变为可能，旨为将人类意识进行数字化备份并进行意识上传，以实现人类文明的完全数字化。

如今随着扩散模型的兴起极大，涌现出大量基于音频驱动的数字人生成工作。具体而言，语音驱动人类视频生成旨在基于参考图像与音频，合成面部表情与身体动作与音频高度同步的自然人像视频，在电影制作、游戏制作、虚拟现实、直播带货等领域具有广泛的应用前景。

但是，现有方法仅能生成时长不足 15 秒的短视频，一旦模型尝试生成超过 15 秒的视频，就会出现明显的身体变形与外观不一致现象，尤其集中在面部区域，这使目前数字人技术还无法达到《流浪地球 2》中图恒宇所创造的 AI 永生数字生命那样的程度，严重限制了其实际应用价值。

为了解决这一问题，一些方法尝试在音频驱动人类视频生成中引入一致性保持机制，但很少有工作深入探讨问题的根本原因。现有策略——无论是利用运动帧（Motion Frame），还是在推理过程中采用多种滑动窗口机制——都只能在一定程度上提升长视频的平滑性，却无法从根本上缓解无限时长头像视频的质量退化问题。

另一种可行方案是将长音频切分为多个片段，分别处理后再拼接成连续的视频。然而，这种方式不可避免地会在片段衔接处引入不一致和突兀的过渡。

因此，对于语音驱动的人类视频生成而言，实现端到端的无限时长高保真视频生成依然是一项极具挑战性的任务。

为了解决上述问题，来自复旦、微软、西交等研究团队提出 StableAvatar 框架，以实现无限时长音频驱动的高保真人类视频生成， 目前代码已开源，包括推理代码和训练代码。

方法简介

如下图所示，StableAvatar 是基于 Wan2.1-1.3B 基座模型开发的，首先将音频输入 Wav2Vec 模型中提取 audio embeddings，随后通过我们提出的音频适配器（Audio Adapter）进行优化，以减少潜变量分布误差的累积。

经过优化的 audio embeddings 会输入至去噪 DiT 中进行处理。参考图像的处理通过两条路径输入扩散模型：

在推理阶段，我们将原始输入视频帧替换为随机噪声，而保持其他输入不变。我们提出了一种新颖的音频原生引导（Audio Native Guidance）方法，以替代传统的 Classify-Free-Guidance，从而进一步促进唇形同步与面部表情生成。此外，我们引入了一种动态加权滑动窗口去噪策略，通过在时间维度上融合潜变量，以提升长视频生成过程中的视频平滑性。

Timestep-aware Audio Adapter

以往的方法在生成超过 15 秒的虚拟人视频时，往往出现明显的面部与身体扭曲，以及颜色漂移。这主要源于它们的音频建模方式：直接将第三方预训练的音频嵌入通过交叉注意力注入扩散模型。由于当前的扩散主干缺乏音频相关的先验知识，在注入过程中会在跨片段之间逐步累积潜在分布误差，使得后续片段的潜在分布逐渐偏离最优解。

为了解决这一问题，本文提出了一种新颖的 Timestep-aware Audio Adapter，其中音频嵌入通过多个仿射调制和交叉注意力模块与时间步嵌入和潜在特征进行交互，如上图（a）所述。

具体而言，初始音频嵌入（Query）依次与初始潜变量（Key 和 Value）进行交叉注意力计算，随后结合 timestep embeddings 进行 affine modulation，从而得到优化后的音频嵌入。由于 timestep embeddings 与潜变量高度相关，这一设计潜在地迫使扩散模型在每个时步上建模音频–潜变量的联合特征分布，从而有效缓解因缺乏音频先验而导致的潜变量分布误差累积，优化后的音频嵌入（Key 和 Value）最后通过交叉注意力与潜变量（Query）交互后注入扩散模型。

Audio Native Guidance

为了进一步增强音频同步性和面部表情，本文提出了一种新颖的 Audio Native Guidance 机制，用以替代传统的 CFG，它未考虑音频与潜在特征的联合关系。本文修改了去噪得分函数，以引导去噪过程朝着最大化音频同步性与自然性的方向前进。

由于优化后的 audio embeddings 本质上也依赖于潜变量，而不仅仅依赖外部音频信号，我们的 Audio Native Guidance 不再将 audio embeddings 作为一个独立于潜变量的外部特征，而是将其作为一个与潜变量相关的扩散模型的内部特征，我们的引导机制能够直接作用于扩散模型的采样分布，将生成过程引导至音频–潜变量的联合分布，并使扩散模型在整个去噪过程中不断优化其生成结果。

我们进一步将上述公式转化为得分函数形式：

因此最终推导公式为：

Dynamic Weighted Sliding-Window Strategy

与先前的滑窗去噪策略相比，我们在相邻窗口的重叠潜变量上引入了滑动融合机制，其中融合权重依据相对帧索引采用对数插值分布。融合后的潜变量会回注到两个相邻窗口中，从而保证中央窗口的两侧边界均由混合特征构成。

借助对数加权函数，可在视频片段之间的过渡中引入一种渐进式平滑效果：早期阶段的权重变化更为显著，而后期阶段变化趋于平缓，从而实现跨视频片段的无缝衔接，具体算法流程如下面算法表和图像所述。

生成结果示例

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

实验对比

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

https://mp.weixin.qq.com/s/BoHk9XZRdaSGMSK-9_PpGA?click_id=7

复旦&微软提出首个端到端无限时长音频驱动的人类视频生成新框架!
首页 > > 破碎的秘密之探索
复旦&微软提出首个端到端无限时长音频驱动的人类视频生成新框架!

阅兵这些画面首次公开

「活动」kumawubiaotitest

3.71MB
版本V3.06.38
下载APK 高速下载
下载亚洲❌❌❌❌❌色情14安装你想要的应用 更方便 更快捷 发现更多
喜欢 51%好评(64人)
评论 16
复旦&微软提出首个端到端无限时长音频驱动的人类视频生成新框架!截图0 复旦&微软提出首个端到端无限时长音频驱动的人类视频生成新框架!截图1 复旦&微软提出首个端到端无限时长音频驱动的人类视频生成新框架!截图2 复旦&微软提出首个端到端无限时长音频驱动的人类视频生成新框架!截图3 复旦&微软提出首个端到端无限时长音频驱动的人类视频生成新框架!截图4
详细信息
  • 软件大小: 7.4MB
  • 最后更新: 2025/09/06 23:39:27
  • 最新版本: V6.17.7
  • 文件格式: apk
  • 应用分类:ios-Android 高二勃起自慰🖼网站
  • 使用语言: 中文
  • : 需要联网
  • 系统要求: 5.51以上
应用介绍
一，两男免费无遮挡㊙️视频网站，无尽❌3D❌爆乳电影
二，爆乳美熟女♥小海媚vip，田曦薇裸乳被爆❌的视频
三，高潮➕喷水➕白浆，搡大肥女人A片高清视频一区
四，美女扒开🌸让我，日本裸乳裸体🍑视频
五，英国av一级，扒开🍑用手摸网站
六，免费观看全黄做爰的电视,国产91精品㊙️AI换脸，男男多强被❌c到爽🔞H
七，👙🈲㊙️免费软件下载
【联系我们】
客服热线：134-2881-646
加载更多
版本更新
V7.5.17
格斗裸乳❌女同❌3D网站
  • 中国小帅男男Gay XNXX

    少妇真人直播免费视频

    中国3⭕⭕⭕⭕XXXX

    62.41MB
    100好评

    手鞠被❌吸乳脱内内视频网站

  • 日本无码🔞视频在线观看饭冈

    18禁美女裸体🔞🔞🔞

    公交车乱婬小说500篇

    370.76MB
    79好评

    裸体裸乳被🍑滋尿给男人喝

  • 小受受扒开屁股挨🌿

    二次元裸体❌网站观看

    HOTPORNOHD😍女

    13.88MB
    318好评

    美女扒开腿㊙️让男人桶小说

  • 美女裸体㊙️动漫网站

    脱👙让学生摸🐻免费网站

    91美女㊙️片直播

    53.25MB
    275好评

    伽罗裸体被爆❌的羞羞漫画

  • 不知火舞裸体被❌羞羞视频3D

    喷水❌洗澡❌网站蘑菇视频

    德国女人毛又多又密

    71.83MB
    704好评

    黑狐影院手机版 ❤

  • 美女露出🐻给男生揉的网站

    斗破苍穹云韵被❌无码视频

    无尽❌大胸❌日本

    83.91MB
    337好评

    捆绑➕调教➕sm➕国产

  • 白丝娇喘⭕⭕❌❌

    小🐔🐔伸进🈲🔞🔞苹果

    打中国美女白嫩㊙️屁屁网站

    23.09MB
    100好评

    成人羞羞🔞国产免费女生屁股

  • 原神成人游戏㊙️免费

    付晓田与泰刚孩子

    东南亚性视频XxⅩHD

    50.34MB
    920好评

    中国掹少妇❌❌❌❌

  • 女S男M✅在线观看网站

    成人高潮片免费观看

    老师⋯好爽⋯免费麻豆

    83.06MB
    561好评

    赤兔帅气GayFuckXXXX

  • 纲手被强❌漫画

    免费看裸体🔞🔞🔞黑桃

    小鲜肉GAY无套✅国产免费

    83.50MB
    757好评

    国产学生白丝袜足脚交

  • 久久精品㊙️一区二区三区

    朱竹清同人18🈲AV在线观看

    男男被❌到爽🔞流视频山东浩浩

    32.92MB
    626好评

    成人毛片❌❌❌

  • 女同学扒开腿❌裸体不遮挡

    王昶体育生白袜自慰出精Gay🔞

    91PORNY❤️国产

    26.43MB
    271好评

    少萝❌自慰❌

  • 🌿我～慢爽好大～视频在线观看

    老熟女配小伙老少配

    国产精品㊙️入口18禁猫咪网

    65.64MB
    740好评

    小乖乖糙汉粗口h文1v1视频

  • 男人露jiji㊙️和女人作爱

    男仆扒开🍑跪着让客人玩微博文

    国内老熟妇对白XXXⅩHD

    54.61MB
    754好评

    小🐥🐥放到女人的🍑动漫

  • 成人🔞高潮片在线观看

    二次元女裸体❌羞羞视频

    女被❌c🐻黄扒衣服漫画

    57.86MB
    683好评

    动漫美女看裸体又爽❌又黄

  • 美女露出🐻让男人揉揉

    小🐤🐤戳进🍑无遮挡麻豆-百度-百度

    韩国美女裸体㊙️免费视

    24.38MB
    358好评

    免费观看少妇喂男人吃奶水黄片

  • ❤国产精品嫩草影院8Vv8

    15🈲少萝羞羞开腿白丝蓝莓视频

    红太狼被强❌漫画

    13.10MB
    311好评

    www.91色😍萝白丝

  • 初中女孩裸体洗澡偷拍

    婬女免费一二三区A片老太太色片

    HDXXX-819HDXXX

    84.17MB
    211好评

    羞羞动漫❤️在线入口免费

  • 扒开❌狂揉❌脱脱内内双男小说

    十八🈲又黄又乳成人网

    18❌真人大胸裸露涩涩表情包

    45.19MB
    738好评

    女生脱👙让我揉🐻网站

  • 真实XX小younv合集

    日产美女裸体㊙️无遮挡JK网站

    迪丽热巴被❌无码网站

    10.36MB
    184好评

    芙宁娜被❌到爽🔞高潮痉挛

  • 动漫美女的尿囗㊙️免费

    胡秀英报答金院长孕妇做爱视频

    成人🔞高潮片在线观看

    44.94MB
    368好评

    流萤被❌自慰爽死mmd

  • x9x9x9任意噪2024视频

    迪丽热巴张开腿让我❌到爽

    ❤国产精品海角社区视频熟妇乱

    91.34MB
    200好评

    麻豆精品㊙️国产传媒视频

  • 女生奖励素材库视频素材

    免费无遮挡🔞视频视频

    班花撩起我的🍌蹭来蹭

    30.13MB
    902好评

    云缨疯狂❌喷水自慰漫画

  • 十八禁电影啪啪三国

    9,1免费解锁版

    国产精品无码18🈲️成人

    30.57MB
    541好评

    裸体直播🔞禁止观看

  • 农田丰满艳肉妇HD

    高清码🔞❌♋现场看

    美女❌又爽❌又黄

    29.10MB
    120好评

    隐私㊙️黄www网站

  • 美女扒开胸罩👙给男生吃漫画

    不知火舞❌爆奶水摇舌头图片

    漫画❌大胸❌动漫看

    70.22MB
    456好评

    樱花直播在线高清

  • JapanHD性❌❌❌八重神子裸体被❌开腿视频 title="美女扒开腿㊙️男人爽桶动漫版" class="0v5366j9r7414 app-list-img" src="https://t11.baidu.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

    嗯～啊别揉我奶头㊙️黄腹肌

    色情乱婬一级A片黄冈师范

    详情
  • 美女被❌爆乳吸乳动漫高清🈚码🔞❌♋网站欧美 title="高清乱码❌♋日本" class="0v5366j9r7414 app-list-img" src="https://t10.baidu.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

    FC2PPV初撮り♥完全颜出

    涂山红红被啪❌漫画

    详情
  • 免费看裸体🔞🔞🔞网站果冻美女露出🐻给男生揉捏 title="18破解版免费版安装" class="0v5366j9r7414 app-list-img" src="https://t12.baidu.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

    巨胸爆乳露双头被❌蜘蛛精

    光与夜之恋禁🈲H肉污动3D

    详情

{{.转码Keywords}} 类似软件

猜你喜欢

相关攻略
包含 饿了么 的应用集
包含 饿了么 的应用集
评论
  • FerrPorno💋👙6k 9天前
    柳岩裸乳被爆❌白
  • 老太婆乱伦 9天前
    美女㊙️裸露无遮挡
  • 中国新婚之夜A级黄 8天前
    美女扒开腿㊙️男人爽桶原神
  • 扒开美女内衣👙看个够的网站 7天前
    大乳妓女影院色情大片在线播放
  • 男人添女人全过A片 6天前
    成人美女调情🔞视频在线观看
  • 蘑菇视频成人网站❤️ 1天前
    蜜桃㊙️AV导航
  • 女的被❌到色情免费看 8天前
    无套内谢大学处破女www小说
  • 男女一起愁愁愁电视剧在线观看 1天前
    小🐔🐔伸进🈲🔞🔞图片
  • 高清码🔞❌♋免费逍遥阁 0天前
    JK漫画🩷成人版
  • 校花扒开🐻让我❌❌❌ 9天前
    白丝护士女仆❌❌❌网站
八重神子裸体被❌开腿视频
火线传奇❌18禁漫画 -安卓手机网上最贴心的Android软件应用平台! 版权所有：牡丹生活 www.zhixiao1.cn:443 蜀ICP备2023036221号-2