2025/09/07 05:38:07 1,154次浏览

本系列工作核心作者: 郭海洋(自动化所博士生)、 朱飞 (中科院香港院AI中心AP)、 曾繁虎 (自动化所硕士生)、 刘文卓 (自动化所博士生)、 赵宏博 (自动化所博士生)。通讯作者为自动化所博士生导师张煦尧研究员和刘成林研究员。团队长期从事人工智能研究,成果发表于 CVPR、ICCV、NeurIPS、ICLR、ACL、TPAMI、IJCV 等国际顶级会议与期刊。

近年来,生成式 AI 和多模态大模型在各领域取得了令人瞩目的进展。然而,在现实世界应用中,动态环境下的数据分布和任务需求不断变化,大模型如何在此背景下实现持续学习成为了重要挑战。为了应对这一问题,中国科学院自动化研究所联合中国科学院香港院 AI 中心系统性地研究了生成式 AI 和多模态大模型的持续学习,提出了一系列综述、方法、Benchmark 和 Codebase,为相关领域的研究者和实践者提供了全面支持。

生成式 AI 的持续学习综述

论文:Continual Learning for Generative AI: From LLMs to MLLMs and Beyond

研究动机:以大模型为代表的生成式 AI 模型的快速发展让现代智能系统具备了理解和生成复杂内容的能力,甚至在部分领域达到了接近人类的表现。然而,这些模型依旧面临着“灾难性遗忘”问题,即在学习新任务时,往往会导致已学任务性能的显著下降。为解决这一挑战,大量的研究提出了多种方法以增强生成式 AI 在实际应用中的适应性和扩展性。本文系统性地综述了生成式 AI 的持续学习方法,涵盖大语言模型(LLMs)、多模态大语言模型(MLLMs)、视觉语言动作模型(VLA)和扩散模型(Diffusion Models)。

图 1:生成式 AI 中的持续学习示意图

研究内容:本文围绕生成式 AI 的持续学习问题,系统性地综述了不同模型的训练目标、应用场景及技术方法。研究涵盖大语言模型在理解与生成中的知识保留与任务适应、多模态大模型处理跨模态数据时的抗遗忘能力、视觉语言动作模型在机器人动态环境中的行为迁移与适应,以及扩散模型针对个性化生成需求的增量学习。这些模型的持续学习方法主要包括架构扩展、正则化和回放策略,旨在平衡新任务学习与旧任务性能的保持。此外,研究还探讨了评估指标(整体性能、遗忘程度、泛化能力)和未来方向(高效机制、强化学习范式、多模态扩展等),为生成式 AI 的持续学习提供了全面参考。

图 2:持续学习方法分类图

多模态大模型持续学习:Benchmark 与方法

传统的持续学习任务多聚焦于单模态场景,如图像或文本分类,但随着应用需求的复杂化,多模态任务逐渐成为核心。为此,我们提出了一系列新的 Benchmark 和方法,旨在推动多模态大模型持续学习的发展。

论文 1:[ACL 2025] HiDe-LLaVA: Hierarchical Decoupling for Continual Instruction Tuning of Multimodal Large Language Model

研究动机:本文认为当前的多模态大模型的持续学习面临两大关键挑战:一是现有评测基准普遍存在与预训练数据重叠的问题,导致评估结果失真;二是传统方法难以平衡新任务学习与旧任务遗忘之间的矛盾。为此,本研究提出构建全新的UCIT评测基准,通过严格的 zero-shot 筛选机制,构建了全新的无信息泄露风险数据集。同时创新性地提出层次化解耦学习策略,旨在解决持续指令微调中的灾难性遗忘问题,为多模态大模型的持续学习提供可靠的评估框架和解决方案。

研究方法:本文通过 CKA 相似性分析揭示了模型不同层级的任务特性差异:顶层具有任务特异性,其余层则保持任务通用性。基于此,本文提出的HiDe-LLaVA采用分层处理机制:在顶层引入多模态锚点驱动的动态专家选择模块,实现任务自适应;在其余层采用参数融合策略保留跨任务共享知识。实验结果表明,该方法可以有效缓解模型的灾难性遗忘现象,并且有效平衡了模型性能与计算资源效率。

目前该研究已被ACL 2025主会接收,相关代码及数据已全部开源。

图 3:HiDe-LLaVA 模型框架示意图。

论文 2:[ICCV 2025] Federated Continual Instruction Tuning

研究动机:当前多模态大模型的指令微调面临集中训练成本高、实用性差的问题,而现有联邦学习方案在动态环境中难以实现持续学习与知识保留的平衡。为此,本文首次提出联邦连续指令微调(FCIT)基准,以解决分布式环境下持续学习的关键挑战。FCIT 基准包含同质(各客户端学习相同任务)和异质(各客户端学习不同任务)两种现实场景,通过 4 种实验设置和 12 个精选数据集,全面评估模型在非独立同分布数据和灾难性遗忘情况下的表现,为多模态大模型的联邦持续学习研究提供标准化评测框架。

图 4:FCIT 设定示意图

研究方法:为应对 FCIT 中的挑战,我们提出了DISCO框架,结合了 动态知识梳理(DKO) 和 子空间选择激活(SSA) 两种策略。DKO 利用全局服务器的动态缓存,存储并组织任务特定的参数,减少任务间和阶段间的冲突;SSA 则通过匹配输入特征与动态缓存中的任务子空间,选择性激活相关输出,同时过滤无关信息。实验结果表明,DISCO 在解决数据异质性和灾难性遗忘方面显著提升了模型性能,全面超越现有方法,并在 FCIT 基准上取得了最好的表现。

目前该研究已被ICCV 2025接收,相关代码及数据已全部开源。

论文 3:[EMNLP 2025]ModalPrompt: Dual-Modality Guided Prompt for Continual Learning of Large Multimodal Models

研究动机:为缓解多模态大模型持续学习任务中的灾难性遗忘现象,本文认为现有解决方案存在显著局限性:基于数据回放的方法面临隐私泄露风险和存储成本压力,而模型扩展策略则不可避免地引发计算资源的线性增长。值得注意的是,当前研究尚未充分探索多模态数据在持续学习中的协同监督潜力。而当前领域内缺乏专门针对多模态特性的持续学习框架,因此需要开发一种既能利用图像-文本双重监督、又能避免计算膨胀的新方法,以实现高效且隐私安全的知识持续积累。

图 5:ModalPrompt 模型框架示意图

研究方法:本文提出ModalPrompt框架,利用多模态监督,通过构建任务特定的图像文本原型提示,结合双模态引导提示选择和多任务提示融合机制,实现了在无回放数据的情况下有效保留旧任务知识并提升新任务性能。此外,该方法通过动态提示选择降低计算复杂度,使推理速度提升 1.42 倍,同时显著减少存储和训练成本。

目前该研究已被EMNLP 2025主会接收,相关代码已全部开源。

论文 4. MLLM-CL: Continual Learning for Multimodal Large Language Models

研究动机:本文认为现有的多模态大模型连续指令微调评测基准主要关注独立同分布(IID)场景下的领域知识评估,缺乏对模型基础能力(如 OCR、数学推理等)在非 IID 场景下的系统性评测。为此,本文提出了一个新的多模态大模型持续学习基准MLLM-CL,涵盖领域持续学习(DCL) 和能力持续学习(ACL) 两种设置,分别针对同分布(IID)和非同分布(non-IID)场景下的领域知识和基础能力学习进行评估。

图 6:MLLM-CL 基准示意图

研究方法:为解决灾难性遗忘问题,本文提出了MR-LoRA,通过领域或能力特定的 LoRA 模块实现参数隔离,避免任务间干扰,并设计了基于 MLLM 自身的多模态理解能力的路由选择器,仅需少量样本微调即可精准匹配输入与最优专家模块。实验表明,该方法在领域持续学习(DCL)和能力持续学习(ACL)任务上显著优于传统回放或模型扩展方法。

论文 5. LLaVA-c: Continual Improved Visual Instruction Tuning

研究动机:多模态大模型(如 LLaVA-1.5)在连续指令微调中面临的两大核心挑战:首先,传统的多任务联合训练存在任务平衡困难(需人工调整数据比例)和扩展成本高(新增任务需全量重训练)的固有缺陷;其次,现有持续学习方法虽能增量学习新任务,但普遍存在 "基础模型退化" 现象——模型过度拟合任务特定指令(如强制单字回答),丧失处理多样化指令的通用能力。

图 7:LLaVA-c 模型框架示意图

研究方法:本文提出了LLaVA-c,通过两个核心技术改进 LLaVA-1.5 模型:1)谱感知巩固(SAC),基于奇异值分解的模型融合策略有效克服新旧知识冲突,相比传统的模型混合策略提升了任务兼容性;2)无监督查询正则化(UIR),通过约束未标注文本指令的特征空间偏移(L2 距离损失)防止基础模型退化,在零额外标注成本下保持指令跟随能力。本文在预训练和指令微调两阶段上都验证了所提出方法的有效性,在通用评价基准和下游任务指标上均取得了最优的性能,并且首次实现持续学习效果超越多任务联合训练。

多模态大模型持续学习:代码仓库

论文:MCITlib: Multimodal Continual Instruction Tuning Library and Benchmark

研究动机:随着多模态大模型持续学习研究的蓬勃发展,各类创新方法和评估基准不断涌现,但研究社区始终缺乏一个系统化、标准化的开发与评测平台。为填补这一关键空白,我们推出了MCITlib,一个开源的多模态持续指令微调代码仓库。MCITlib 集成了当前领域内 8 种主流算法,精心挑选了两个高质量基准(UCIT 和 DCL),有效避免信息泄露,为研究者提供了一个统一、公平的实验环境,便于全面评估不同方法的优劣。

图 8:开源代码仓库 MCITlib

未来,MCITlib 也将持续进行更新,扩展更多模型、任务和评测维度,为多模态大模型持续学习研究提供坚实助力。

总结与展望

赋予以多模态大模型为代表的生成式 AI 持续学习的能力是迈向人工智能通用化的重要一步。我们希望通过系统的综述、完善的 Benchmark、前沿的方法和开源的工具,能够为这一领域的研究者和应用开发者提供更多支持。未来,我们团队将继续深耕多模态大模型持续学习领域,探索更广泛的应用场景,持续推动该领域技术的发展与创新。

多模态大模型持续学习,综述+Benchmark+方法+Codebase一网打尽
多模态大模型持续学习,综述+Benchmark+方法+Codebase一网打尽

中元节禁忌是对传统节日的曲解

「活动」kumawubiaotitest

65.71MB
版本V3.367.38
下载人马杂配mv的视频在哪里看安装你想要的应用 更方便 更快捷 发现更多
喜欢 51%好评(32人)
评论 16
多模态大模型持续学习,综述+Benchmark+方法+Codebase一网打尽截图0 多模态大模型持续学习,综述+Benchmark+方法+Codebase一网打尽截图1 多模态大模型持续学习,综述+Benchmark+方法+Codebase一网打尽截图2 多模态大模型持续学习,综述+Benchmark+方法+Codebase一网打尽截图3 多模态大模型持续学习,综述+Benchmark+方法+Codebase一网打尽截图4
详细信息
  • 软件大小: 3.407MB
  • 最后更新: 2025/09/07 05:38:07
  • 最新版本: V6.4.7
  • 文件格式: apk
  • 应用分类:ios-Android 美女的爆乳㊙️免费视频
  • 使用语言: 中文
  • : 需要联网
  • 系统要求: 5.2以上
应用介绍
一,雏田被呜人爆❌无码漫画,XXXX258🍆🍆HD
二,体育生白袜出精🔞网站,扒开美女疯狂揉❌桃花园麻豆av
三,小🐓🐓戳进🍑,纲手被爆❌自慰流水
四,国产精品㊙️A级宅男必备污网站,兰州老呵姨老肥熟口味重
五,麻豆🔞视频在线观看免费网站入口,嗯~啊~轻一点🈲🔞免费观看
六,17c稀缺㊙️精品资源,男男黄文性❤️调教大尺度高清,男人穿情趣内裤㊙️网站
七,被❌到爽🔞巨乳
【联系我们】
客服热线:134-2881-646
加载更多
版本更新
V7.5.17
宁荣荣❌乳喷自慰爽直播
  • 18🈲🍆🍑无套直国产蘑菇

    白丝校花🌸拔腿自慰

    ㊙️羞羞视频免费视频日本

    61.32MB
    106好评

    3d动漫❌❌长腿无尽视

  • 原神被❌乳液涩涩免费网站

    日本㊙️精品入口❤️免费软件

    成人片色情影院www成全影视

    15.73MB
    0050好评

    搡大肥女人A片高清视频一区

  • 啊〜嗯〜轻一点怀孕同房

    俩个美女❌狂揉❌网站

    巨胸美女露❌免费观看

    13.56MB
    312好评

    老师摘下奶罩🐻让我爽了小说

  • 午夜又黄❌❌又爽

    جالاپسكش99com

    XXXHD470❤👙💋

    53.61MB
    271好评

    HD▶️VideoButtsmofos

  • 中国少妇⭕⭕⭕⭕美国漫画

    Free欧美性XXXX,火车上

    雷电将军爆乳被❌🔞🔞㊙️

    71.32MB
    709好评

    把手伸胡桃的🍑www

  • 动漫美女被❌狂揉大胸羞羞网站

    疯狂❌喷水自慰爽漫画

    翔田AV无码🈲️一区

    83.31MB
    330好评

    禁游手游免费下载

  • 日本自慰片A片免费播放

    成人真实❌❌❌纯h

    两男生做爱真人版

    23.08MB
    100好评

    91❤口爆吞精缅甸

  • 小红书18➕成人官网在线

    性别.隐.偷窥Tube中国人

    女被❌c🐻扒衣服视频软件

    50.28MB
    927好评

    www.17c.com喷水少妇

  • 非洲一级片

    美女扒开㊙给男的玩

    男同被❌到爽视频

    83.88MB
    560好评

    扒开❌狂揉❌视频女女

  • 动漫学生裸体❌羞羞

    女子尿囗㊙️免费

    naruto❌sakura18禁

    83.12MB
    757好评

    freeHD18❌❌❌3D老头

  • 做爱视频欧美黄色成人A片日韩免费无码婬片AA片西瓜影院

    老女人做a爰片久久毛片A片小说

    床震十八🔞

    32.86MB
    628好评

    宝贝你下面湿透了还嘴硬怎么回事

  • 刘晓庆做爰A片

    医院玩弄人妻第1部分阅读

    涩里番app色版❤网站iOS

    26.23MB
    270好评

    日本撩裙子撒尿㊙

  • 扒开🐻让我❌❌动漫

    宵宫被狂揉下部❌羞羞

    啊灬啊灬啊灬快好喷水了视频

    65.77MB
    740好评

    91在线无码精品㊙️国产血腥

  • 漫画美女扒开胸罩㊙️

    69式少妇裸交

    小鲜肉GAY无套✅免费视频

    54.71MB
    750好评

    青少年露jiji㊙️视频

  • 日本大乳㐅❌❌爱

    朴妮唛裸被❌无码

    男人的🍌伸到🍑免费视频

    57.64MB
    689好评

    俄版性无删减版

  • 男同志被🌿出水无套

    做爰❌❌❌视频毛片下载裸体赌场

    韩国❌❌奶头❌❌调教

    24.39MB
    351好评

    火影爆乳18禁🔞动漫泳装

  • 👅男人被狂c高潮视频麻豆

    俄罗斯nopho♥

    68少妇丨PORNY丨💃🏻

    13.91MB
    315好评

    男同❌🔞得到❌做小说

  • 黄油❌18禁女性向游戏

    扒开千仞雪疯狂揉❌难受3d动漫

    男上女下男生的鸡🐔插入女生的鸡巴视频

    84.66MB
    212好评

    91高清🈚码日

  • ❤️国产精品嫩草影院❤️

    furry18+❤♂videos

    孕妇被躁BD在线观看看

    45.85MB
    734好评

    ㊙️成人漫画寄宿日记

  • 九七精品久久无码-HD1080P国语版中文版-69AV

    特殊性❌❌❌❌免费看视频

    成人免费无码大片A毛片直播-TC中字高清无删减WWW-巧露AV

    10.85MB
    183好评

    29➕1演员表

  • 国产AV㊙️天

    少妇四级视频在线播放

    日本电影➕床戏BD高清

    44.48MB
    367好评

    小🐤🐤戳进🍑动漫

  • 竹兰爆乳18禁🔞小说

    免费➕无码➕国产38在线

    91♥️丨PORN天堂

    91.73MB
    209好评

    蔚蓝档案18❌AV黄游

  • 扒开美女内衣👙让男人视频

    午夜十八禁🔞男久久无码一区

    jizzjzz中国版黄色A片

    30.52MB
    905好评

    www.免费视频🈲🈲🈲视频网站

  • 吸🐻黄片

    51动漫🈲🔞🐻

    91丨国产丨白浆㊙️洗澡漫画涙

    30.70MB
    549好评

    洗澡洗私㊙️摸视频

  • 男男真人被❌到爽🔞

    脱👙让摸🐻小说

    扒宁荣荣衣服并❌她的蓝莓视频

    29.38MB
    127好评

    禁漫A漫♥免费

  • 激情婬乱1一17章小说

    3D小舞朱竹清被❌到爽

    强行打开校花双腿灌🈵c药视频

    70.60MB
    454好评

    宁荣荣张开双腿被强❌游戏

  • 美女被❌小网站吸乳口交肛交阴交娜美被扒开腿坐做❌同人文 title="嗯~进去~好大~好满3D视频" class="0v5366j9r7414 app-list-img" src="https://t11.baidu.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

    人与獸交XXⅩ毛片69视频网站

    成人㊙️入口sessxvid

  • 少司缘裸体❌❌抖乳JapaneseFucKXXXXHDkiuky title="人与禽物交videos另类" class="0v5366j9r7414 app-list-img" src="https://t10.baidu.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

    同人黄漫画网站❌免费APP

    少女たちよ在线观看动漫第7集

  • 鸣潮长离裸体❌开腿本子瓢虫雷迪被❌爽到 title="麻豆隐私㊙️视频网站" class="0v5366j9r7414 app-list-img" src="https://t12.baidu.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

    18 🔞🈲www蜜桃流水

    亚洲一本道AV一级无马赛克

{{.转码Keywords}} 类似软件

猜你喜欢

相关攻略
包含 饿了么 的应用集
包含 饿了么 的应用集
评论
  • 克洛琳德❌18禁 5天前
    90西方大但人文艺术
  • 快色网站下载18 5天前
    tubefnee❌❌❌乄
  • 魅影入口app下载安装 6天前
    18🈲🍆🍆🍆🍆蘑菇网站
  • 曰本人性裸交❌❌❌❌❌直播 7天前
    男女的隐私㊙️喷出白乳视频网站
  • 爆❌喷水❌洗澡❌无遮挡 2天前
    动漫美女❌❌动漫网站
  • 免费看大胸女㊙️视频巨乳 1天前
    老熟女@中国老太HD
  • l国产女卜 4天前
    碧蓝航线裸体❌禁图免费看
  • Free♥XXX♥yaoi漫画 5天前
    美女又爽❌又黄❌免费会所按摩
  • 男模裸J照无遮挡🔞前列腺 2天前
    女仆被强❌喷水羞羞漫画网站
  • 免费看A片㊙️免费原神 2天前
    娇妻被局长的粗丈撑满