2025/09/07 04:02:08 1,829次浏览

该论文的第一作者和通讯作者均来自北京大学王选计算机研究所,第一作者为博士生徐铸,通讯作者为博士生导师刘洋。团队近年来在 TPAMI、IJCV、CVPR、ICML 等顶会上有多项代表性成果发表,多次荣获国内外多模态理解预生成竞赛冠军,和国内外知名高校、科研机构广泛开展合作。

本文主要介绍来自该团队的最新论文:TRKT: Weakly Supervised Dynamic Scene Graph Generation with Temporal-enhanced Relation-aware Knowledge Transferring。该任务针对弱监督动态场景图任务展开研究,发现目前的性能瓶颈在场景中目标检测的质量,因为外部预训练的目标检测器在需要考虑关系信息和时序上下文的场景图视频数据上检测结果欠佳。

本文针对该问题提出了一种时序增强关系敏感知识迁移的方法,通过获取关系和时序信息感知的注意力图来优化外部目标检测器的检测结果,从而提升在场景图数据上目标检测质量,进而提升最终的生成场景图效果。

目前该研究已被 ICCV 2025 正式接收,相关代码与模型已全部开源。

动态场景图生成任务旨在通过检测物体并预测它们之间的关系,为视频的每一帧生成对应场景图。 弱监督动态场景图生成要求模型在训练阶段只使用来自视频单帧的无物体位置信息的场景图标签作为监督进行训练,从而减少标注工作量。现有的弱监督动态场景图生成方法依赖于预训练的外部目标检测器生成物体标签,进而构造伪场景图标签用于后续场景图生成模型的训练。

然而,在动态、关系感知的动态场景图生成场景中,训练于静态、以物体为中心图像上的目标检测器可能出现物体定位不准确以及对部分物体置信度过低,从而导致物体漏检的问题。本文通过分析目标检测结果和关系预测结果对最终场景图质量的影响(如下图 1 所示),可以发现目标检测质量是目前弱监督动态场景图生成任务的主要瓶颈。

图 1:使用不同目标检测结果和关系预测结果的动态场景图性能对比

针对上述问题,该论文提出了一种时序增强且关系敏感的知识迁移方法 TRKT,该方法能够有效增强在关系感知的动态场景中的目标检测性能。

具体来讲,TRKT 首先通过物体和关系类别解码器生成类别特定的注意力图,以突出物体区域和交互区域,从而使注意力图具备关系感知能力,同时利用邻近帧和光流信息对注意力图进行时序增强,使它们具备运动感知能力,并对运动模糊具有较强的鲁棒性。进一步,TRKT 还设计了一个双流融合模块,综合利用类别特定的注意力图与外部检测结果,提升物体定位精度和部分物体的置信度分数。实验表明,TRKT 通过提升目标检测性能为弱监督动态场景图生成的训练提供了更准确和更高质量的伪标签,进而提升最终动态场景图的生成质量。

一、方法介绍

图 2:基于时序增强关系敏感知识迁移的弱监督动态场景图生成方法框架图

本文方法如图 2 所示,它主要由两个设计组成:关系敏感的知识挖掘(Relation-aware Knowledge Mining)和双流融合模块(Dual-stream Fusion Module)。在关系敏感的知识挖掘中,我们利用图像编码器将每帧输入图像处理成若干块,然后分别通过物体和关系类别解码器对这些块进行解码,生成注意力图,用于高亮物体及其交互关系的相关区域。编码器和解码器仅通过图像的物体和关系类别标签进行监督。这些注意力图包含物体语义和潜在的关系上下文,从而增强了模型在数据中识别和理解复杂关系的能力。进一步地,跨帧的光流被用来提供时序信息以进一步增强注意力图。通过这些方法,我们获得既具备关系感知又具备运动感知的注意力图,包含时序增强和关系敏感的知识。在双流融合模块中,我们设计了并行的定位优化模块(Localization Refinement Module,LRM)和置信度提升模块(Confidence Boosting Module,CBM)用于最大化注意力图在增强外部检测结果中的效果。LRM 通过利用注意力图来定位物体区域,从而提供外部检测的边界框坐标的准确度;CBM 则增强由类别解码器识别的物体类别的置信度分数。关系敏感的知识挖掘和双流融合模块有效地减轻了外部检测结果中存在的偏差,最终产生了更可靠的物体检测结果。最后我们使用和基线模型相同的方法,将检测结果组织为场景图伪标签,以全监督的方式训练动态场景图检测模型。

关系敏感的知识挖掘

双流融合模块

双流融合模块(DFM)用于结合时序感知且关系敏感的知识,来提升外部检测器的结果质量。DFM 包含了定位修正模块和置信度提升模块。

图 3:定位修正模块示意图

图 4:置信度提升模块示意图

二、实验结果

①对比方法

我们对比了两大类方法,第一类是已有最优的弱监督动态场景图生成方法,包括 PLA [1] 和 NL-VSGG;第二类是擅长关系理解的视觉语言模型,包括 RLIP 和 RLIPv2 [4]。

②评价指标

评价指标分为两部分,第一部分是测评方法在 DSGG 数据中的目标检测性能,指标为 Average Precision (AP) 和 Average Recall (AR);第二部分是测评方法在动态场景图生成任务上的性能,我们通过场景图检测(SGDET)任务进行评估。SGDET 旨在检测物体对并预测它们之间的关系,并以 Recall@K 为指标进行评估。

③与现有方法的对比及分析

表 1:与基线模型在 Action Genome [3] 数据集上目标检测性能对比实验结果

表 2:与对比方法在 Action Genome [3] 数据集上动态场景图生成性能对比实验结果

我们首先对比了目标检测的性能,结果如表 1 所示。我们提出的方法在 Average Precision 和 Average Recall 上分别提高了 13.0%/1.3%,验证了我们的方法能够有效提升动态和需要关系理解场景下的目标检测性能。

对于弱监督动态场景图生成任务,性能对比如表 2 所示。和我们的基线模型 PLA 相比,结果显示,我们在所有评估指标上都取得了性能提升(1.72%/2.42%),这表明,通过改进物体检测结果,生成的伪场景图标签质量得到了提高,从而在最终的 DSGG 性能上获得了性能提升。此外,我们还与 NL-VSGG 进行了比较,NL-VSGG 使用视频字幕来构建伪场景图进行模型训练,也使用外部物体检测器进行物体检测,但由于相同的物体检测质量问题,其 DSGG 性能低于我们的方法。我们还与 RLIP 和 RLIPv2 进行了比较,它们以零样本方式进行场景图预测,将每一帧视为静态图像。然而,它们的性能较差,进一步说明了时序和动态信息和时序增强且关系敏感的知识对于动态场景图任务的必要性。

④消融实验

表 3:不同模块的消融实验结果

为了验证本文所提出的各个模块的有效性,本文进行了消融实验。CBM, LRM 和 IAA 分别代表置信度提升模块,定位修正模块以及帧间注意力增强策略,消融结果如表 3 所示。我们可以得出以下结论:(1)分别采用 CBM 和 LRM 作为知识迁移策略,分别带来了 1.2% 和 2.0% 的平均精度提升,进而在 SGDET 任务上获得了性能提升,这表明物体检测质量在边界框置信度分数和定位精度方面得到了改善。(2)通过结合 CBM 和 LRM,物体检测的 AP 平均提升了 2.8%,在有约束 / 无约束场景下,DSGG 任务的表现分别提升了 1.48%/1.94%。这表明,边界框精度的提升和置信度分数的增强可以相互补充,生成质量更高的物体检测结果,从而带来更大的性能提升。(3)融入 IAA 策略后,物体检测性能进一步提升,AP 提升了 8.9%/10.6%,表明 IAA 有效缓解了模糊和遮挡问题,生成了更好的检测结果,从而进一步提升了最终场景图生成的表现。

⑤可视化结果

图 5:动态场景图生成结果可视化

如图 5 所示,我们给出了和基线模型 PLA [1] 生成动态场景图效果的对比,得益于我们引入的时序增强关系敏感的知识和我们设计的双流融合模块,我们的方法能够得到更完整的场景图,并且其中人和物体的定位更加准确,从而使得得到的场景图质量更高。

更多研究细节,可参考原论文。

参考文献

[1] Siqi Chen, Jun Xiao, and Long Chen. Video scene graph generation from single-frame weak supervision. In The Eleventh International Conference on Learning Representations,2023.

[2] Zachary Teed and Jia Deng. Raft: Recurrent all-pairs field transforms for optical flow, 2020.

[3] Jingwei Ji, Ranjay Krishna, Li Fei-Fei, and Juan Carlos Niebles. Action genome: Actions as compositions of spatio temporal scene graphs. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10236–10247, 2020.

[4] Hangjie Yuan, Shiwei Zhang, Xiang Wang, Samuel Albanie, Yining Pan, Tao Feng, Jianwen Jiang, Dong Ni, Yingya Zhang, and Deli Zhao. Rlipv2: Fast scaling of relational language-image pre-training, 2023.

ICCV 2025 | 基于时序增强关系敏感知识迁移弱监督动态场景图生成
ICCV 2025 | 基于时序增强关系敏感知识迁移弱监督动态场景图生成

樊振东收获德甲两连胜

「活动」kumawubiaotitest

989.71MB
版本V3.3.38
下载18摸㊙️免费软件安装你想要的应用 更方便 更快捷 发现更多
喜欢 51%好评(3人)
评论 16
ICCV 2025 | 基于时序增强关系敏感知识迁移弱监督动态场景图生成截图0 ICCV 2025 | 基于时序增强关系敏感知识迁移弱监督动态场景图生成截图1 ICCV 2025 | 基于时序增强关系敏感知识迁移弱监督动态场景图生成截图2 ICCV 2025 | 基于时序增强关系敏感知识迁移弱监督动态场景图生成截图3 ICCV 2025 | 基于时序增强关系敏感知识迁移弱监督动态场景图生成截图4
详细信息
  • 软件大小: 13.289MB
  • 最后更新: 2025/09/07 04:02:08
  • 最新版本: V6.534.7
  • 文件格式: apk
  • 应用分类:ios-Android 男人的🍌伸到🍑里动慢
  • 使用语言: 中文
  • : 需要联网
  • 系统要求: 5.8以上
应用介绍
一,裸体被❌羞羞漫画网站,国产一区二区免费在线观看视频
二,时宜✖️开腿让周生辰爽,多毛熟女
三,美女屁股㊙️无遮挡软件,深夜看🔞🈲免费游戏APP
四,免费做爰XXXⅩ性直播间,亚洲AV➕无码➕高潮内谢
五,小🐤🐤戳进🍑无遮挡露全身,老外性交一级黄片
六,亚洲AV㊙️无码二宫和香电影,美女裙底㊙️可看网站,❤国产精品海角社区在线播放
七,国产➕又黄➕又爽刺激片秋香
【联系我们】
客服热线:134-2881-646
加载更多
版本更新
V7.5.17
莫妮卡被❌无码视频网站
  • 我要看中国农村阿姨野外日逼

    极品少萝裸18禁🈲自慰照片

    原神美露莘裸体❌开腿

    470.35MB
    101好评

    芙宁娜疯狂❌自慰爽网站

  • 雷狮✖️你R18文

    女同裸乳❌动漫❌3d在线观看

    女同学蹭我下面🍌左右左右动漫

    24.86MB
    73好评

    巨胸爆乳❌❌❌视频

  • brazzersx24💋欧美

    赵露思被爆❌自慰流水

    同性被❌到爽羞羞在线观看

    13.41MB
    317好评

    农村老女人性交淫秽视频

  • 男人又爽❌又黄❌动

    欧洲美女BBBBBBBBB

    同桌摸🐻用🍆×进🍑

    53.04MB
    277好评

    免费肉体裸交❌❌❌❌护士视频

  • 黑土被鸣人❌❌黄

    小舞被❌吸乳白丝在线观看

    韩国少妇裸交❌╳乂❌漫画

    71.28MB
    706好评

    91成人🔞在线观看喷潮糖心

  • 动漫白丝袜❌美女无尽

    在哪儿看成人1级片

    被c🔞黄㊙️动漫❌

    83.51MB
    339好评

    水门被强❌喷水羞羞动漫

  • 穿扒开🍑跪着

    8x8拔擦拔擦在线观看免费视频

    日本裸被❌视频无码

    23.87MB
    102好评

    国产精品爱豆午夜传媒视频

  • Chinesemature亂伦

    韩国美女19➕vip夏娃

    ♠️黑桃媚黑qq群

    50.43MB
    922好评

    一木道在线免费观看视频

  • 欧美肥婆性猛交丰满大屁股

    老师胸乳❌❌❌视频软件

    国产⭕⭕⭕⭕XXXX朝鲜

    83.45MB
    562好评

    铜铜铜铜铜铜铜铜好大好深

  • 乡村大乱婬交免费看视频

    ✨寸止挑战-榨精挑战视频

    黑料网❤️免费新瓜

    83.17MB
    757好评

    国产❌❌❌视频

  • 免费看黄禁片

    日本wwwww视频在线观看

    申鹤撕开内衣👙吸奶头瑟瑟漫画

    32.17MB
    629好评

    辉夜被呜人❌❌漫画

  • ❌蜜❌桃❌黄❌片AV

    成人做爰A片免费看视美女图片

    aSⅰan❌❌❌

    26.61MB
    279好评

    小🐤戳进🍑无遮挡欧美

  • jK黑色丝袜美女被❌视频网站

    成人免费毛片❌❌❌片v

    动漫人物狂❌下部网页

    65.95MB
    742好评

    国产性猛交❌XX❌APP

  • 国精产品一二二麻豆

    🍒♥️🍄星空无限传媒免费观看电视剧

    原神裸体AV❌祼黄网站

    54.23MB
    758好评

    山东少妇BB

  • 男人猛躁女人㊙️亚洲

    ASS小妇猛性SSwSSwPiCS

    国产毛多水多女人A片

    57.67MB
    684好评

    欧美接受❌❌❌高潮手拳

  • 3D男男♂动漫啪网站免费观看

    蘑菇视频❌c🐻黄扒衣服网站

    欧美老妇做爱xxxⅹ在线视频

    24.31MB
    352好评

    欧美❌❌❌rB

  • YY6080❤️

    少妇被鸭子服务的全过程

    🍑👅🌸🎀又大又黄

    13.41MB
    317好评

    美女被❌到爽🔞高潮出水

  • 性猛交❌❌❌❌玩f1

    91成人扒开🍑伸进🍌

    ❌18禁无遮挡网站视频网站免费

    84.55MB
    211好评

    奶头又大又❌又白水网站

  • 无套进入无套内谢A片

    日本无码做爰内谢免费

    亂伦中国∨ideos

    45.74MB
    735好评

    3D动漫成人18❌动漫免费

  • 女性脱👙给我揉🐻的漫画书

    史上最婬荡交换做爰第1集

    原神被❌到爽🔞挤奶水

    10.04MB
    187好评

    美女大便无遮挡㊙️

  • ai换脸杨冥裸体被❌

    Free欧美性XXXX,火车上

    我让老师❌了一夜网站

    44.54MB
    366好评

    动漫屁股挨打㊙️网站

  • furry成人🔞视频网站

    八重神子被❌喷水自慰爽

    🔞色情乱码欧美Pornhub

    91.96MB
    201好评

    裸神和REBDB写真播放

  • 巴西少妇❌❌❌❌❌

    好久没c你了🔞🔞

    jiojio给你足智库在线观看

    30.96MB
    904好评

    🌸🌸精品国产

  • 91♥️国产丝袜在线播放

    非洲大肥婆在做爰

    性裸交❌❌❌❌❌裸体调教

    30.05MB
    543好评

    埃及猫小脏片18+

  • 🛑㸔片❌网站在线观看

    帕洛斯被雷狮扒开腿狂❌黄

    成人做爰黄A片免费视频网站野外

    29.36MB
    124好评

    免费看的黄😍网站动漫连体衣

  • 夜店❌❌奶头❌❌裸体动漫

    变态打美女屁屁㊙️视频调教

    明日方舟18❌禁同人

    70.27MB
    459好评

    扒妲己衣服并❌她的图片

  • 扒朱竹清衣服并❌她的小说白丝女仆❌馒头爆乳 title="ChineSeHDX老太婆小说" class="0v5366j9r7414 app-list-img" src="https://t11.baidu.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

    FreePorno💋👙83

    宝宝好久没c你了🔞🔞女女

  • 美女洗澡18🚫隐私免费jzzijzzij亚洲成熟少妇在线观看 title="白丝校花被❌狂揉泳池play" class="0v5366j9r7414 app-list-img" src="https://t10.baidu.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

    ❌❌❌❌日本人毛片少妇直播

    猛攻↙骚受嗯呐

  • 性XXX摘花过程XXXXHD欧美❌❌❌CCC偷拍 title="看大BB毛片片" class="0v5366j9r7414 app-list-img" src="https://t12.baidu.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

    蜜桃视频网站

    女同❌动漫❌裸乳❌3D

{{.转码Keywords}} 类似软件

猜你喜欢

相关攻略
包含 饿了么 的应用集
包含 饿了么 的应用集
评论
  • 🔞禁🍆🍆🍆达摩网站 7天前
    国产91❤️白丝在一线
  • FreeHDXXXXDH24 5天前
    美女➕光屁屁➕露全身漫画
  • 女性扒开👙看个够挠痒网站 9天前
    欧美GayGay✅免费网站
  • 一级人体A片免费观看 8天前
    大胸美女挤奶㊙️
  • 打美女白嫩屁股㊙️ 9天前
    沙奈朵扒开腿做❌
  • 柳神裸乳被爆❌白浆的 5天前
    🐻黄漫扒衣服
  • 二人做受一级A片性生小书 7天前
    少妇黃色A片三級三級三級
  • 自慰白丝🔞🔞❌❌❌ 9天前
    裸体男生的隐私撒尿㊙️
  • 女同学扒开腿❌裸体不遮挡黄漫 3天前
    刘晓庆做爰A片
  • 露娜张开双腿被强❌3d动画 2天前
    男生露出🐔🐔给别人吃网站