2025/09/07 02:13:22 1,520次浏览

该论文的第一作者和通讯作者均来自北京大学王选计算机研究所,第一作者为博士生徐铸,通讯作者为博士生导师刘洋。团队近年来在 TPAMI、IJCV、CVPR、ICML 等顶会上有多项代表性成果发表,多次荣获国内外多模态理解预生成竞赛冠军,和国内外知名高校、科研机构广泛开展合作。

本文主要介绍来自该团队的最新论文:TRKT: Weakly Supervised Dynamic Scene Graph Generation with Temporal-enhanced Relation-aware Knowledge Transferring。该任务针对弱监督动态场景图任务展开研究,发现目前的性能瓶颈在场景中目标检测的质量,因为外部预训练的目标检测器在需要考虑关系信息和时序上下文的场景图视频数据上检测结果欠佳。

本文针对该问题提出了一种时序增强关系敏感知识迁移的方法,通过获取关系和时序信息感知的注意力图来优化外部目标检测器的检测结果,从而提升在场景图数据上目标检测质量,进而提升最终的生成场景图效果。

目前该研究已被 ICCV 2025 正式接收,相关代码与模型已全部开源。

动态场景图生成任务旨在通过检测物体并预测它们之间的关系,为视频的每一帧生成对应场景图。 弱监督动态场景图生成要求模型在训练阶段只使用来自视频单帧的无物体位置信息的场景图标签作为监督进行训练,从而减少标注工作量。现有的弱监督动态场景图生成方法依赖于预训练的外部目标检测器生成物体标签,进而构造伪场景图标签用于后续场景图生成模型的训练。

然而,在动态、关系感知的动态场景图生成场景中,训练于静态、以物体为中心图像上的目标检测器可能出现物体定位不准确以及对部分物体置信度过低,从而导致物体漏检的问题。本文通过分析目标检测结果和关系预测结果对最终场景图质量的影响(如下图 1 所示),可以发现目标检测质量是目前弱监督动态场景图生成任务的主要瓶颈。

图 1:使用不同目标检测结果和关系预测结果的动态场景图性能对比

针对上述问题,该论文提出了一种时序增强且关系敏感的知识迁移方法 TRKT,该方法能够有效增强在关系感知的动态场景中的目标检测性能。

具体来讲,TRKT 首先通过物体和关系类别解码器生成类别特定的注意力图,以突出物体区域和交互区域,从而使注意力图具备关系感知能力,同时利用邻近帧和光流信息对注意力图进行时序增强,使它们具备运动感知能力,并对运动模糊具有较强的鲁棒性。进一步,TRKT 还设计了一个双流融合模块,综合利用类别特定的注意力图与外部检测结果,提升物体定位精度和部分物体的置信度分数。实验表明,TRKT 通过提升目标检测性能为弱监督动态场景图生成的训练提供了更准确和更高质量的伪标签,进而提升最终动态场景图的生成质量。

一、方法介绍

图 2:基于时序增强关系敏感知识迁移的弱监督动态场景图生成方法框架图

本文方法如图 2 所示,它主要由两个设计组成:关系敏感的知识挖掘(Relation-aware Knowledge Mining)和双流融合模块(Dual-stream Fusion Module)。在关系敏感的知识挖掘中,我们利用图像编码器将每帧输入图像处理成若干块,然后分别通过物体和关系类别解码器对这些块进行解码,生成注意力图,用于高亮物体及其交互关系的相关区域。编码器和解码器仅通过图像的物体和关系类别标签进行监督。这些注意力图包含物体语义和潜在的关系上下文,从而增强了模型在数据中识别和理解复杂关系的能力。进一步地,跨帧的光流被用来提供时序信息以进一步增强注意力图。通过这些方法,我们获得既具备关系感知又具备运动感知的注意力图,包含时序增强和关系敏感的知识。在双流融合模块中,我们设计了并行的定位优化模块(Localization Refinement Module,LRM)和置信度提升模块(Confidence Boosting Module,CBM)用于最大化注意力图在增强外部检测结果中的效果。LRM 通过利用注意力图来定位物体区域,从而提供外部检测的边界框坐标的准确度;CBM 则增强由类别解码器识别的物体类别的置信度分数。关系敏感的知识挖掘和双流融合模块有效地减轻了外部检测结果中存在的偏差,最终产生了更可靠的物体检测结果。最后我们使用和基线模型相同的方法,将检测结果组织为场景图伪标签,以全监督的方式训练动态场景图检测模型。

关系敏感的知识挖掘

双流融合模块

双流融合模块(DFM)用于结合时序感知且关系敏感的知识,来提升外部检测器的结果质量。DFM 包含了定位修正模块和置信度提升模块。

图 3:定位修正模块示意图

图 4:置信度提升模块示意图

二、实验结果

①对比方法

我们对比了两大类方法,第一类是已有最优的弱监督动态场景图生成方法,包括 PLA [1] 和 NL-VSGG;第二类是擅长关系理解的视觉语言模型,包括 RLIP 和 RLIPv2 [4]。

②评价指标

评价指标分为两部分,第一部分是测评方法在 DSGG 数据中的目标检测性能,指标为 Average Precision (AP) 和 Average Recall (AR);第二部分是测评方法在动态场景图生成任务上的性能,我们通过场景图检测(SGDET)任务进行评估。SGDET 旨在检测物体对并预测它们之间的关系,并以 Recall@K 为指标进行评估。

③与现有方法的对比及分析

表 1:与基线模型在 Action Genome [3] 数据集上目标检测性能对比实验结果

表 2:与对比方法在 Action Genome [3] 数据集上动态场景图生成性能对比实验结果

我们首先对比了目标检测的性能,结果如表 1 所示。我们提出的方法在 Average Precision 和 Average Recall 上分别提高了 13.0%/1.3%,验证了我们的方法能够有效提升动态和需要关系理解场景下的目标检测性能。

对于弱监督动态场景图生成任务,性能对比如表 2 所示。和我们的基线模型 PLA 相比,结果显示,我们在所有评估指标上都取得了性能提升(1.72%/2.42%),这表明,通过改进物体检测结果,生成的伪场景图标签质量得到了提高,从而在最终的 DSGG 性能上获得了性能提升。此外,我们还与 NL-VSGG 进行了比较,NL-VSGG 使用视频字幕来构建伪场景图进行模型训练,也使用外部物体检测器进行物体检测,但由于相同的物体检测质量问题,其 DSGG 性能低于我们的方法。我们还与 RLIP 和 RLIPv2 进行了比较,它们以零样本方式进行场景图预测,将每一帧视为静态图像。然而,它们的性能较差,进一步说明了时序和动态信息和时序增强且关系敏感的知识对于动态场景图任务的必要性。

④消融实验

表 3:不同模块的消融实验结果

为了验证本文所提出的各个模块的有效性,本文进行了消融实验。CBM, LRM 和 IAA 分别代表置信度提升模块,定位修正模块以及帧间注意力增强策略,消融结果如表 3 所示。我们可以得出以下结论:(1)分别采用 CBM 和 LRM 作为知识迁移策略,分别带来了 1.2% 和 2.0% 的平均精度提升,进而在 SGDET 任务上获得了性能提升,这表明物体检测质量在边界框置信度分数和定位精度方面得到了改善。(2)通过结合 CBM 和 LRM,物体检测的 AP 平均提升了 2.8%,在有约束 / 无约束场景下,DSGG 任务的表现分别提升了 1.48%/1.94%。这表明,边界框精度的提升和置信度分数的增强可以相互补充,生成质量更高的物体检测结果,从而带来更大的性能提升。(3)融入 IAA 策略后,物体检测性能进一步提升,AP 提升了 8.9%/10.6%,表明 IAA 有效缓解了模糊和遮挡问题,生成了更好的检测结果,从而进一步提升了最终场景图生成的表现。

⑤可视化结果

图 5:动态场景图生成结果可视化

如图 5 所示,我们给出了和基线模型 PLA [1] 生成动态场景图效果的对比,得益于我们引入的时序增强关系敏感的知识和我们设计的双流融合模块,我们的方法能够得到更完整的场景图,并且其中人和物体的定位更加准确,从而使得得到的场景图质量更高。

更多研究细节,可参考原论文。

参考文献

[1] Siqi Chen, Jun Xiao, and Long Chen. Video scene graph generation from single-frame weak supervision. In The Eleventh International Conference on Learning Representations,2023.

[2] Zachary Teed and Jia Deng. Raft: Recurrent all-pairs field transforms for optical flow, 2020.

[3] Jingwei Ji, Ranjay Krishna, Li Fei-Fei, and Juan Carlos Niebles. Action genome: Actions as compositions of spatio temporal scene graphs. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10236–10247, 2020.

[4] Hangjie Yuan, Shiwei Zhang, Xiang Wang, Samuel Albanie, Yining Pan, Tao Feng, Jianwen Jiang, Dong Ni, Yingya Zhang, and Deli Zhao. Rlipv2: Fast scaling of relational language-image pre-training, 2023.

ICCV 2025 | 基于时序增强关系敏感知识迁移弱监督动态场景图生成
ICCV 2025 | 基于时序增强关系敏感知识迁移弱监督动态场景图生成

单休违法吗

「活动」kumawubiaotitest

269.71MB
版本V3.77.38
下载19➕精品➕爽➕国产冫安装你想要的应用 更方便 更快捷 发现更多
喜欢 51%好评(469人)
评论 16
ICCV 2025 | 基于时序增强关系敏感知识迁移弱监督动态场景图生成截图0 ICCV 2025 | 基于时序增强关系敏感知识迁移弱监督动态场景图生成截图1 ICCV 2025 | 基于时序增强关系敏感知识迁移弱监督动态场景图生成截图2 ICCV 2025 | 基于时序增强关系敏感知识迁移弱监督动态场景图生成截图3 ICCV 2025 | 基于时序增强关系敏感知识迁移弱监督动态场景图生成截图4
详细信息
  • 软件大小: 065.99MB
  • 最后更新: 2025/09/07 02:13:22
  • 最新版本: V6.00.7
  • 文件格式: apk
  • 应用分类:ios-Android 女性裸体㊙️不遮胸动漫
  • 使用语言: 中文
  • : 需要联网
  • 系统要求: 5.03以上
应用介绍
一,国产男男Gay🔞视频,老太婆xxxxx
二,七十路熟女のお婆ち,羞羞漫画❤️免费登录入口
三,激情婬妇A片AAA毛多水多麻豆,国产㊙️久久一区二区
四,台湾真人性做爰,🌸扒腿自慰爽出
五,初高中女第一次破苞,疯狂吃奶做爰成人免费
六,老熟女亂伦网,小🐤🐤赛进去直接观看视频,麻豆精品㊙️国产传媒观看视频
七,男自己自慰㊙️免费网站
【联系我们】
客服热线:134-2881-646
加载更多
版本更新
V7.5.17
斗罗大陆黄漫画㊙️18禁
  • 皮靴少妇X❌X❌

    一级A片女处破7女视频

    国产精久久❌❌❌网站漫画

    304.82MB
    106好评

    猛男GayGay✅✅自慰

  • XXXX198🍆🍆HD

    あねちじょ♥无修国语下载

    女被❌c🐻黄扒衣服中国

    2.68MB
    958好评

    美女被❎免费网站在线图片

  • 男同无码精品㊙️人口传媒

    邪恶道⭐️全彩无翼乌邪恶术

    大胸双乳被❌视频

    13.48MB
    312好评

    一级二级调色大片的经典实例🍉

  • 成人🔞AV片

    哪里有毛片在线观看

    日本大乳巨胸做爰HD

    53.62MB
    274好评

    成人扒开🍑伸进🍌🔞动漫

  • 裸体美女㊙️兔女郎

    樱桃视频在线观看一区二区三区四区五区

    尿孔➕灌➕电击➕网站

    71.20MB
    707好评

    唐舞桐被爆乳❌白浆

  • 💋XXXx33💋

    啊~🌿~轻点~男女

    苹果手机看动漫神器

    83.52MB
    337好评

    麻花传剧原创mv免费观看老师

  • 夜晚🈲18软件麻豆香蕉

    18xxxxxx69

    欣赏女同学撒尿正面

    23.94MB
    101好评

    成人少妇色情社区

  • 日本老妇女性爱

    不知火舞狂揉下部❌羞羞动喷水

    糖心成人黄动漫网站❌免费下载

    50.58MB
    928好评

    母子乱伦日本

  • 女人疯狂❌喷水自慰爽软件

    欧美hdm✅✅4k

    美女挤奶㊙️免费看网站

    83.98MB
    567好评

    国产一区二区毛片A片婬片软件

  • 人妻~夫の上司犯感との

    fnf同人18❌AV黄漫网站

    富婆性x❌x裸体啪啪

    83.18MB
    759好评

    大黑塔被爆❌超污网站

  • 女班长让我玩🐻吃奶的视频

    把jiji❌进老师屁屁里视频

    300部黄入口

    32.89MB
    625好评

    又大又粗又爽又黄A片刑房

  • 赵露思裸体❌开腿羞羞吴磊

    18🈲🍆🍑无套直国产剧情

    欧美HD❌❌❌1819

    26.26MB
    276好评

    美女㊙️脱粪poopin

  • 体育生打✈️视频gvwww

    色多多app成人版♥入口

    爆乳被❌🔞🔞㊙️软件

    65.76MB
    746好评

    美女隐私㊙️免费网站

  • xchina小皇书

    韩国女主播18➕

    美女又爽❌又黄❌动漫

    54.55MB
    755好评

    老太脱裤子和老太做爰

  • 在线无码精品㊙️入口寸止

    动漫美女被❌羞羞网站视频软件

    明日方舟18❌禁同人

    57.51MB
    688好评

    足控吃脚❌Xx视频

  • 第一级黄色代

    3D朱竹清被❌到爽 - 百度

    美女疯狂柔❌脱脱内内免费

    24.10MB
    352好评

    69黄色软件

  • 亚洲AV㊙️无码一区桃乃木香奈

    91国精产品㊙️一区二区在线

    涩情软件大全

    13.61MB
    310好评

    男男GayGay✅免费动漫游戏

  • 18大学生🈲免费看

    国产精品🔞❌❌❌❌视频瘾无码

    把男生的🐔放在男生的🍑里

    84.66MB
    211好评

    毛片aaaaa

  • 浪货看我🌿死你为止

    成人免费视频❌❌❌在线观看

    AI美女裸体㊙️网站视频

    45.99MB
    731好评

    英语老师趴下让我C高清动漫

  • 美女扒开腿㊙️男人爽桶图片

    蕾丝视频♥成人版app苹果

    男男🔞高潮片免费视频

    10.77MB
    186好评

    🌿我~慢点动漫男女

  • 丝袜脚交❌❌❌国产下载

    美女洗澡18🚫隐私免费视频

    警察胸乳❌❌❌视频软件下载

    44.11MB
    361好评

    成人🔞涩涩小片视频芒果

  • 男男c🔞黄㊙️❌91

    http://h3h.cc边添小泬边狠狠躁口述

    JAVHD✅com

    91.56MB
    208好评

    91精品㊙️一区二区耳软件

  • 燕氏求子原文(1-28章)

    91丨豆花丨国产熟女❤️熟女

    亚洲精品㊙️一区二区三区四区

    30.59MB
    904好评

    女同被❌到爽🔞漫画软件

  • 动漫男人㊙️桶女人屁股

    三级片XXXXXXX3D

    ben10❌18禁漫画同人

    30.87MB
    544好评

    欧美BV㊙️无码视频

  • 无码粉嫩小泬无套内谢的来源

    嗯∽啊~轻点禁🔞视频网站暗夜

    小樱被❌到爽🔞巨乳同人

    29.39MB
    128好评

    三级做爰大爽色情三级七男一女

  • 少萝又爽❌又黄❌视频

    c🔞黄㊙️❌B站91

    欧美激情婬乱A片无码爱奴

    70.76MB
    457好评

    光溜溜女生动画片

  • 动漫❌大胸❌动漫看蘑菇视频不知火舞被❌到爽🔞流片3D title="美女全身裸蛋㊙️视频" class="0v5366j9r7414 app-list-img" src="https://t11.baidu.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

    小心🐤入🍑🍑视频的日本

    扒开美女疯狂揉❌配照小说

  • 不知火舞被❌到大叫动漫脱👙让摸🐻视频 title="男人添女人屁股VK" class="0v5366j9r7414 app-list-img" src="https://t10.baidu.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

    云缨被❌出水的图片gentai

    寄宿日记㊙️无删减软件

  • 免费🔞成人❌❌喂奶用动漫主人把男仆扒开🍑 title="小乔裸体被❌到爽被爆衣" class="0v5366j9r7414 app-list-img" src="https://t12.baidu.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

    激情视频爱爱A三级

    李妍曦裸体㊙️无遮挡胸视频

{{.转码Keywords}} 类似软件

猜你喜欢

相关攻略
包含 饿了么 的应用集
评论
  • FreeXXX69HD 6天前
    邓紫棋被❌流白浆免费网站
  • 高卷杏动漫18禁❌羞羞 9天前
    雷电将军3D同人18❌动漫
  • 日本掀裙掀尿㊙️视频 3天前
    vktk的所有视频
  • 国产cev精品 1天前
    男人的🍌伸到🍑里怎么伸
  • 91精品国产㊙️入口在线 2天前
    娇小性色x❌x中国女人C
  • 国产精品❌❌❌A片守望人妻怀孕 3天前
    国产🔞免费视频在线观看
  • tk小学lvk 8天前
    纲手被❌纲手无尽
  • 美女露出🐻让男生,游戏 8天前
    美女白嫩㊙️屁屁视频
  • 🔞漫画涩涩车 2天前
    成人直播视频网站
  • 小舞同人18❌漫画免费网站 5天前
    91水白嫩网站❌喷水