2025/09/07 04:25:27 1,526次浏览

本系列工作核心作者: 郭海洋(自动化所博士生)、 朱飞 (中科院香港院AI中心AP)、 曾繁虎 (自动化所硕士生)、 刘文卓 (自动化所博士生)、 赵宏博 (自动化所博士生)。通讯作者为自动化所博士生导师张煦尧研究员和刘成林研究员。团队长期从事人工智能研究,成果发表于 CVPR、ICCV、NeurIPS、ICLR、ACL、TPAMI、IJCV 等国际顶级会议与期刊。

近年来,生成式 AI 和多模态大模型在各领域取得了令人瞩目的进展。然而,在现实世界应用中,动态环境下的数据分布和任务需求不断变化,大模型如何在此背景下实现持续学习成为了重要挑战。为了应对这一问题,中国科学院自动化研究所联合中国科学院香港院 AI 中心系统性地研究了生成式 AI 和多模态大模型的持续学习,提出了一系列综述、方法、Benchmark 和 Codebase,为相关领域的研究者和实践者提供了全面支持。

生成式 AI 的持续学习综述

论文:Continual Learning for Generative AI: From LLMs to MLLMs and Beyond

研究动机:以大模型为代表的生成式 AI 模型的快速发展让现代智能系统具备了理解和生成复杂内容的能力,甚至在部分领域达到了接近人类的表现。然而,这些模型依旧面临着“灾难性遗忘”问题,即在学习新任务时,往往会导致已学任务性能的显著下降。为解决这一挑战,大量的研究提出了多种方法以增强生成式 AI 在实际应用中的适应性和扩展性。本文系统性地综述了生成式 AI 的持续学习方法,涵盖大语言模型(LLMs)、多模态大语言模型(MLLMs)、视觉语言动作模型(VLA)和扩散模型(Diffusion Models)。

图 1:生成式 AI 中的持续学习示意图

研究内容:本文围绕生成式 AI 的持续学习问题,系统性地综述了不同模型的训练目标、应用场景及技术方法。研究涵盖大语言模型在理解与生成中的知识保留与任务适应、多模态大模型处理跨模态数据时的抗遗忘能力、视觉语言动作模型在机器人动态环境中的行为迁移与适应,以及扩散模型针对个性化生成需求的增量学习。这些模型的持续学习方法主要包括架构扩展、正则化和回放策略,旨在平衡新任务学习与旧任务性能的保持。此外,研究还探讨了评估指标(整体性能、遗忘程度、泛化能力)和未来方向(高效机制、强化学习范式、多模态扩展等),为生成式 AI 的持续学习提供了全面参考。

图 2:持续学习方法分类图

多模态大模型持续学习:Benchmark 与方法

传统的持续学习任务多聚焦于单模态场景,如图像或文本分类,但随着应用需求的复杂化,多模态任务逐渐成为核心。为此,我们提出了一系列新的 Benchmark 和方法,旨在推动多模态大模型持续学习的发展。

论文 1:[ACL 2025] HiDe-LLaVA: Hierarchical Decoupling for Continual Instruction Tuning of Multimodal Large Language Model

研究动机:本文认为当前的多模态大模型的持续学习面临两大关键挑战:一是现有评测基准普遍存在与预训练数据重叠的问题,导致评估结果失真;二是传统方法难以平衡新任务学习与旧任务遗忘之间的矛盾。为此,本研究提出构建全新的UCIT评测基准,通过严格的 zero-shot 筛选机制,构建了全新的无信息泄露风险数据集。同时创新性地提出层次化解耦学习策略,旨在解决持续指令微调中的灾难性遗忘问题,为多模态大模型的持续学习提供可靠的评估框架和解决方案。

研究方法:本文通过 CKA 相似性分析揭示了模型不同层级的任务特性差异:顶层具有任务特异性,其余层则保持任务通用性。基于此,本文提出的HiDe-LLaVA采用分层处理机制:在顶层引入多模态锚点驱动的动态专家选择模块,实现任务自适应;在其余层采用参数融合策略保留跨任务共享知识。实验结果表明,该方法可以有效缓解模型的灾难性遗忘现象,并且有效平衡了模型性能与计算资源效率。

目前该研究已被ACL 2025主会接收,相关代码及数据已全部开源。

图 3:HiDe-LLaVA 模型框架示意图。

论文 2:[ICCV 2025] Federated Continual Instruction Tuning

研究动机:当前多模态大模型的指令微调面临集中训练成本高、实用性差的问题,而现有联邦学习方案在动态环境中难以实现持续学习与知识保留的平衡。为此,本文首次提出联邦连续指令微调(FCIT)基准,以解决分布式环境下持续学习的关键挑战。FCIT 基准包含同质(各客户端学习相同任务)和异质(各客户端学习不同任务)两种现实场景,通过 4 种实验设置和 12 个精选数据集,全面评估模型在非独立同分布数据和灾难性遗忘情况下的表现,为多模态大模型的联邦持续学习研究提供标准化评测框架。

图 4:FCIT 设定示意图

研究方法:为应对 FCIT 中的挑战,我们提出了DISCO框架,结合了 动态知识梳理(DKO) 和 子空间选择激活(SSA) 两种策略。DKO 利用全局服务器的动态缓存,存储并组织任务特定的参数,减少任务间和阶段间的冲突;SSA 则通过匹配输入特征与动态缓存中的任务子空间,选择性激活相关输出,同时过滤无关信息。实验结果表明,DISCO 在解决数据异质性和灾难性遗忘方面显著提升了模型性能,全面超越现有方法,并在 FCIT 基准上取得了最好的表现。

目前该研究已被ICCV 2025接收,相关代码及数据已全部开源。

论文 3:[EMNLP 2025]ModalPrompt: Dual-Modality Guided Prompt for Continual Learning of Large Multimodal Models

研究动机:为缓解多模态大模型持续学习任务中的灾难性遗忘现象,本文认为现有解决方案存在显著局限性:基于数据回放的方法面临隐私泄露风险和存储成本压力,而模型扩展策略则不可避免地引发计算资源的线性增长。值得注意的是,当前研究尚未充分探索多模态数据在持续学习中的协同监督潜力。而当前领域内缺乏专门针对多模态特性的持续学习框架,因此需要开发一种既能利用图像-文本双重监督、又能避免计算膨胀的新方法,以实现高效且隐私安全的知识持续积累。

图 5:ModalPrompt 模型框架示意图

研究方法:本文提出ModalPrompt框架,利用多模态监督,通过构建任务特定的图像文本原型提示,结合双模态引导提示选择和多任务提示融合机制,实现了在无回放数据的情况下有效保留旧任务知识并提升新任务性能。此外,该方法通过动态提示选择降低计算复杂度,使推理速度提升 1.42 倍,同时显著减少存储和训练成本。

目前该研究已被EMNLP 2025主会接收,相关代码已全部开源。

论文 4. MLLM-CL: Continual Learning for Multimodal Large Language Models

研究动机:本文认为现有的多模态大模型连续指令微调评测基准主要关注独立同分布(IID)场景下的领域知识评估,缺乏对模型基础能力(如 OCR、数学推理等)在非 IID 场景下的系统性评测。为此,本文提出了一个新的多模态大模型持续学习基准MLLM-CL,涵盖领域持续学习(DCL) 和能力持续学习(ACL) 两种设置,分别针对同分布(IID)和非同分布(non-IID)场景下的领域知识和基础能力学习进行评估。

图 6:MLLM-CL 基准示意图

研究方法:为解决灾难性遗忘问题,本文提出了MR-LoRA,通过领域或能力特定的 LoRA 模块实现参数隔离,避免任务间干扰,并设计了基于 MLLM 自身的多模态理解能力的路由选择器,仅需少量样本微调即可精准匹配输入与最优专家模块。实验表明,该方法在领域持续学习(DCL)和能力持续学习(ACL)任务上显著优于传统回放或模型扩展方法。

论文 5. LLaVA-c: Continual Improved Visual Instruction Tuning

研究动机:多模态大模型(如 LLaVA-1.5)在连续指令微调中面临的两大核心挑战:首先,传统的多任务联合训练存在任务平衡困难(需人工调整数据比例)和扩展成本高(新增任务需全量重训练)的固有缺陷;其次,现有持续学习方法虽能增量学习新任务,但普遍存在 "基础模型退化" 现象——模型过度拟合任务特定指令(如强制单字回答),丧失处理多样化指令的通用能力。

图 7:LLaVA-c 模型框架示意图

研究方法:本文提出了LLaVA-c,通过两个核心技术改进 LLaVA-1.5 模型:1)谱感知巩固(SAC),基于奇异值分解的模型融合策略有效克服新旧知识冲突,相比传统的模型混合策略提升了任务兼容性;2)无监督查询正则化(UIR),通过约束未标注文本指令的特征空间偏移(L2 距离损失)防止基础模型退化,在零额外标注成本下保持指令跟随能力。本文在预训练和指令微调两阶段上都验证了所提出方法的有效性,在通用评价基准和下游任务指标上均取得了最优的性能,并且首次实现持续学习效果超越多任务联合训练。

多模态大模型持续学习:代码仓库

论文:MCITlib: Multimodal Continual Instruction Tuning Library and Benchmark

研究动机:随着多模态大模型持续学习研究的蓬勃发展,各类创新方法和评估基准不断涌现,但研究社区始终缺乏一个系统化、标准化的开发与评测平台。为填补这一关键空白,我们推出了MCITlib,一个开源的多模态持续指令微调代码仓库。MCITlib 集成了当前领域内 8 种主流算法,精心挑选了两个高质量基准(UCIT 和 DCL),有效避免信息泄露,为研究者提供了一个统一、公平的实验环境,便于全面评估不同方法的优劣。

图 8:开源代码仓库 MCITlib

未来,MCITlib 也将持续进行更新,扩展更多模型、任务和评测维度,为多模态大模型持续学习研究提供坚实助力。

总结与展望

赋予以多模态大模型为代表的生成式 AI 持续学习的能力是迈向人工智能通用化的重要一步。我们希望通过系统的综述、完善的 Benchmark、前沿的方法和开源的工具,能够为这一领域的研究者和应用开发者提供更多支持。未来,我们团队将继续深耕多模态大模型持续学习领域,探索更广泛的应用场景,持续推动该领域技术的发展与创新。

多模态大模型持续学习,综述+Benchmark+方法+Codebase一网打尽
多模态大模型持续学习,综述+Benchmark+方法+Codebase一网打尽

16岁男孩做物理增高长高后又缩水

「活动」kumawubiaotitest

00.71MB
版本V3.5.38
下载Gay2022私㊙️男男视频安装你想要的应用 更方便 更快捷 发现更多
喜欢 51%好评(090人)
评论 16
多模态大模型持续学习,综述+Benchmark+方法+Codebase一网打尽截图0 多模态大模型持续学习,综述+Benchmark+方法+Codebase一网打尽截图1 多模态大模型持续学习,综述+Benchmark+方法+Codebase一网打尽截图2 多模态大模型持续学习,综述+Benchmark+方法+Codebase一网打尽截图3 多模态大模型持续学习,综述+Benchmark+方法+Codebase一网打尽截图4
详细信息
  • 软件大小: 2.40MB
  • 最后更新: 2025/09/07 04:25:27
  • 最新版本: V6.34.7
  • 文件格式: apk
  • 应用分类:ios-Android 七龙珠十八号❌动漫羞羞网址
  • 使用语言: 中文
  • : 需要联网
  • 系统要求: 5.0以上
应用介绍
一,女人裸体㊙️视频免费看-百度,女同❌巨大❌❌🔞🔞51成人
二,ch❌❌❌videoHD,巴西少妇性做爰
三,偷窥美熟妇撒尿㊙️黄,浪货今天就把你🌿烂小说
四,女性裸体被❌羞羞被扒胸衣软件,黄色录像大黄中老外逼逼
五,AAA女郎福利写真视频,动漫美女裸身🍑免费视频
六,雏田被小樱❌无码视频,男同自慰🔞免费网站,法国私人航空满天星
七,审问tickle凃油丨VK
【联系我们】
客服热线:134-2881-646
加载更多
版本更新
V7.5.17
777国产成人㊙️入口快手网红
  • 鸣人❌❌玖辛奈同人漫画

    扒开小泬疯狂做爰XXXⅩ视频、

    精品无码久久久久久动漫

    61.94MB
    108好评

    XXXX43🍆🍆HD免费。

  • 越南小少妇❌❌❌❌❌视频

    www.😍.com.同人动漫

    印度农村妇女高潮视频

    60.40MB
    72好评

    mmd跳啪18❌18禁metube.me

  • 纲手被❌喷水自慰羞羞网站

    国产91精品㊙️17c

    动漫男男❌羞羞视频网站

    13.44MB
    314好评

    成人🔞QQ群2023

  • 男c女🔞黄㊙️❌游戏

    妮露裸身被❌❌羞羞视频在线

    成人扒开🍑伸进🍌的视频

    53.35MB
    273好评

    蝴蝶疯狂❌喷水自慰爽免下载

  • 黑土被爆❌naruto堂

    tube一e8❌❌❌hd

    八重神子撕开内衣👙吸奶头

    71.83MB
    701好评

    动漫❌c🐻黄扒衣服动漫

  • 黄☸️色☸️网☸️站☸️

    日本护士色情WWWXXⅩ视频

    原神宵宫裸体❌开腿视频

    83.28MB
    332好评

    美女胸又黄又❌❌❌69Xx

  • 中文字幕乱偷麻豆精品久久

    男人成年露jiji㊙️网站

    臣卜扌喿扌圭辶畐的在线观看

    23.01MB
    104好评

    成人做爰黄✌片视频动漫网站

  • 男子㊙️扒开女子的下部

    中美xxxxxxxxxBBBBBB

    芙宁娜被❌黄漫

    50.85MB
    927好评

    美女把🐔给我看还让我模偷拍

  • AI聊天成人18禁㊙️

    打工男人的午夜黄片

    国产做受❌❌❌高潮短发巨

    83.68MB
    568好评

    男人私㊙️Gay男厕自慰www

  • 91在线无码精品㊙️原神

    成人免费❌❌❌足控

    3D成人国产精品㊙️在线看

    83.21MB
    754好评

    真人老太婆一级A片免费

  • 动漫大c🔞黄㊙️❌糖心

    海外短视频下载链接入口

    小🐣🐣戳进🍑🍑

    32.46MB
    622好评

    AAA❌㐅❌❌69

  • 大乳美女❌❌❌视频

    yy6080高清影院理❤伦

    ❌❌❌女人裸体免费视频

    26.27MB
    273好评

    男人狂揉女人下部❌视频

  • 狂躁欧美肥臀大BBBB

    三级片在线视频国内老妇老头老太太性交

    婬乱A片AAAA片真人网站

    65.80MB
    745好评

    国产精品㊙️密A片老牛视频

  • BRAZZERSse💋29

    欧美少女破处A片

    18🈲无码国产在

    54.53MB
    753好评

    中国人日逼

  • 黄色试看免费120秒

    王者荣耀黄动漫网站❌免费APP

    国产91❌❌❌

    57.75MB
    689好评

    色情😍视频网站入

  • 男同被❌流白浆无码3D

    国产做受❌❌❌网站男男

    成人羞羞🔞国产免费浏览器

    24.06MB
    358好评

    yy6080高清影院伦❤️理

  • 女性隐私㊙️免费观看视频的链接

    日本调教㊙️无遮羞网站

    секс高清видео浓毛

    13.53MB
    310好评

    男人㊙️桶进美女屁股会生孩子吗

  • 男男Gay✅✅免费视频

    福利十八禁🔞网站免费

    0氪手游破解版下载

    84.28MB
    218好评

    🈲色情小黄书2024

  • 91成人🔞在线观看喷潮动漫

    白丝被❌❌到流白浆

    杨钰莹性xxxx交xxxx

    45.19MB
    737好评

    女子赤裸洗澡视频㊙️

  • 男女的隐私㊙️视频网站

    91TV国产成人🔞福利游戏

    免费🈲美女扒衣露出奶头动漫视频

    10.37MB
    188好评

    色奶在线

  • 班长让我吃他的🐻小游戏

    A级做爱视频

    大胸女被c🔞黄㊙️❌触手真视频

    44.53MB
    364好评

    帕洛斯被雷狮扒开腿狂❌黄

  • 欧美1O一11sex性HDHD

    扒开腿添十八禁🔞91茄子

    动漫18禁无遮挡同人❌网站

    91.70MB
    202好评

    中国猛男GayGay✅无套网站

  • PzKONXXXXHD💋18

    黄色Japanese成人

    名模直播app免费下载

    30.63MB
    903好评

    免费观看已满十八岁电视剧_分娩

  • 人文艺术344447任汾

    美女跪床❌❌被🌿91

    国产91㊙️精品入口

    30.50MB
    543好评

    yaoi❤♂Manga漫画入口一

  • 喷水➕免费➕国产精品

    成人🔞色情美女裸体的软件

    成人性生活做爱视频

    29.57MB
    120好评

    中国❌❌❌❌性中国

  • 做❤️🔞网站小说

    偷拍老太做爰全过程

    免费啪女人👩

    70.56MB
    452好评

    giga女战士被❌到爽被爆衣

  • 美女❌❌流出牛奶扒开美女❌狂揉视频 title="六十岁全裸免费性毛片" class="0v5366j9r7414 app-list-img" src="https://t11.baidu.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

    美女裸体❌开腿的小视频

    成人做爰黄✌片视频蘑菇视频

  • !脱👙让学生C🐻视频雏田爆乳被❌🔞漫画 title="♥福利姬图片资源网" class="0v5366j9r7414 app-list-img" src="https://t10.baidu.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

    4138殇情影院❤

    小荡货你夹得我又紧又爽动态图

  • 舒淇XXXXX性XXXHD国产➕刺激➕免费酒店➕aⅴ title="男人的🍌伸到🍑坤坤眼里网站" class="0v5366j9r7414 app-list-img" src="https://t12.baidu.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

    免费观看全黄做爰大片视频美国

    免费❌吸乳羞羞动漫

{{.转码Keywords}} 类似软件

猜你喜欢

相关攻略
包含 饿了么 的应用集
评论
  • 在线无码精品㊙️cos雷神 8天前
    多毛美鮑欣赏pics
  • 国产精品❌❌❌cm水 7天前
    美女被❌吸乳羞羞免费视频
  • 79日本XXXXXXXXX18 0天前
    新疆男男18禁Gay视频
  • Ceke俄罗斯NBA0 3天前
    男生把🍌伸到🍑的动漫
  • 涩涩屋福利APP网站㊙️ 7天前
    xxxxwwww69老大
  • 宿虎同人动漫18❌网站 1天前
    高清码🔞❌♋裸身网站自慰
  • 老碟片在线播放免费看电视剧大全 1天前
    ❤国产精品豆花视频CCm
  • 鲁大师视频免费高清在线 4天前
    周冬雨裸被❌视频无码视频
  • 胸的照片㊙️无遮挡 0天前
    宝可梦黄油❌18禁
  • PORNO💋1000 8天前
    ❌裸乳❌女同❌3D在线观看