2025/09/07 23:25:36 1,053次浏览

无需海量数据标注,智能体也能精确识别定位目标元素了!

来自浙大等机构的研究人员提出 GUI-RCPO ——一种自我监督的强化学习方法,可以让模型在没有标注的数据上自主提升GUI grounding (图形界面定位) 能力。

何谓GUI grounding?为什么要提升这项能力?

简单而言,近年来,以视觉-语言模型为骨架的GUI智能体正在迅猛发展,只需要一句语言指令,它们就能像人一样手眼协同地操作电脑、手机、网页等界面。

GUI智能体的一个关键能力在于GUI grounding,也就是根据用户给出的自然语言指令,GUI智能体需要在用户界面中精确地识别并定位可操作的目标元素。

良好的GUI grounding能力可以使得GUI智能体更好地理解图形界面,以及完成更加精准地界面交互。

然而,想要训练这样一种看似简单的能力,却需要大规模高质量的标注数据——当前绝大多数方法动辄需要上百万级的标注数据,而构建这样的高质量的标注数据需要大量的人工和时间成本。

而GUI-RCPO正好解决了上述问题,其核心原理如下:

通过创新性地将Test-time Reinforcement Learning的思想迁移到GUI grounding任务上,利用模型在多次采样之间呈现出来的区域一致性来引导模型在无标签的数据上进行自我提升。

具体内容如下——

GUI-RC:模型采样“求同存异”

当模型针对同一指令进行多次预测时,由于坐标空间的连续性和解码策略带来的随机性,模型会产生不同的预测区域。

尽管这些预测区域的范围可能互不相同,但是它们会存在一定的空间重叠,这种空间重叠实际上蕴含了一种隐式的置信度信号,重叠程度越高潜在地说明了模型对该区域的置信度越高,研究团队将这种空间重叠定义为模型采样中的 区域一致性 。

基于这一洞察,研究团队首先设计了一种基于区域一致性进行空间投票的test-time scaling方法—— GUI-RC 。

首先构建一张与屏幕截图相同大小的投票网格来记录模型每次采样中预测的区域,对于每一个预测结果,将其在网格上对应的区域记上一票,如果模型的预测结果是点坐标,则将其扩展成大小的方框,再投射到网格上。

全部投票结束后,这张网格便记录了模型在采样过程中总体上对每一个像素点的置信度,票数越高的区域代表模型对该区域的信心越强。

随后,提取出网格中票数最高且面积最大的连续区域作为模型采样中的“共识区域”。

最后,利用这块共识区域来进行GUI定位,即可在无需训练的情况下,得到一个更加精确可靠的预测结果。

GUI-RCPO:让模型在无标签数据上自我提升

研究团队进一步提出了一种test-time reinforcement learning方法—— GUI-RCPO ,将模型采样中的区域一致性转换成一种自监督的奖励信号来指导模型的策略优化。

对于每一个预测结果,GUI-RCPO会赋予其预测区域内的 平均票数与最大票数之比 的奖励,反映出该区域在采样中的一致性程度,一致性程度越高的区域会被赋予越高的奖励。

这样一来,GUI-RCPO便可以在无需任何标注数据和外部监督的情况下,利用这种区域一致性奖励来指导模型进行策略优化,让模型的输出更加精准且自信,进而提高奖励的可靠性和质量,从而实现在无标签数据上的自我提升。

实验分析

研究团队将GUI-RC和GUI-RCPO两种方法分别应用到不同的通用模型和GUI专用模型上,并在三个主流的GUI定位基准上进行了全面的评估。

对于GUI-RCPO方法,团队使用去掉真值标签的ScreenSpot-v2作为训练数据集。

实验结果表明,两种方法在不同模型上都有一致的提升。

其中GUI-RCPO带来的提升超过了GUI-RC,说明模型在GUI-RCPO训练过程中并不是在简单地拟合共识区域,而是在真正地学会一种更好的定位策略。

此外,GUI-RCPO对于已经在GUI任务上进行过预训练的模型仍然会带来进一步的提升,证明了方法的有效性。

此外,GUI-RCPO还展现出良好的 泛化能力 ,尽管模型只在针对通用场景的ScreenSpot-v2数据集上进行训练,但是在更有挑战性的针对专业场景的ScreenSpot-Pro基准上依然有显著的提升。

并且随着训练步数的增加,模型在三个基准上的表现都有稳定的提升,进一步证明了GUI-RCPO的泛化能力。

研究团队还尝试在GUI-RCPO训练之后,继续使用GUI-RC进行空间区域投票,并发现模型的表现还能进一步提升,说明通过这种自我强化的循环,模型可以在没有任何标注数据和外部监督的情况下,不断突破预期的性能上限。

案例分析

研究团队提供了两个案例,分别展示了GUI-RC可以解决的GUI定位中存在的两类幻觉。

在一个电商界面里,用户指令要求GUI智能体在时尚购物区中查看 低于50美元的鞋子 (图片中蓝色方框框选的区域),而在贪心解码策略下,模型却被相近的语义与版面布局迷惑,错误地框选到了 “低于25美元的上衣” 区域(左侧图片中红色方框框选的区域),这是典型的语义错配导致的误导性幻觉。

GUI-RC通过对同一指令进行多次采样,并投票选出采样中的 共识区域 (右侧图片中绿色方框框选的区域),成功地将模型的注意力稳定地聚合到正确的区域,从而纠正了单次预测的误导性错误,给出更精确的定位。

在一个电子平台界面里,用户指令要求GUI智能体 “联系销售” (图片中蓝色方框框选的区域),而在贪心解码策略下,模型却把右侧的 整张信息卡片 当作目标(左侧图片中红色方框框选的区域),而不是精确地框选可点击的“联系销售”按钮。

GUI-RC通过多次采样投票的方式,把一次次略有偏差的预测聚合并提取出一个更加精确、自信的 共识区域 (右侧图片中绿色方框框选的区域),成功地完成了精准的定位,消除了这类偏差性幻觉。

小结一下

研究团队首先设计了一种无需训练的test-time scaling方法——GUI-RC,通过利用模型在采样过程中呈现出来的空间区域一致性提取出模型的共识区域,从而实现更加精准自信的定位。

为了继续发掘区域一致性的潜力,团队进一步提出了一种test-time reinforcement learning方法——GUI-RCPO,将区域一致性转化为一种自监督的奖励信号,使得模型能够在无需任何标注数据的情况下不断地进行自我提升。

实验证明了该方法有广泛的适用性和良好的泛化能力。

团队的研究揭示了test-time training在GUI智能体领域中的潜力,为构建更加数据高效的GUI智能体提供了一个可行的方向。

论文链接:https://arxiv.org/abs/2508.05615 项目主页:https://zju-real.github.io/gui-rcpo/ 代码仓库:https://github.com/ZJU-REAL/GUI-RCPO

告别海量标注!浙大团队让GUI定位在无标签数据上自我进化
告别海量标注!浙大团队让GUI定位在无标签数据上自我进化

血月对人体有什么影响

「活动」kumawubiaotitest

36.71MB
版本V3.1.38
下载100部国产成人性爱视频安装你想要的应用 更方便 更快捷 发现更多
喜欢 51%好评(04人)
评论 16
告别海量标注!浙大团队让GUI定位在无标签数据上自我进化截图0 告别海量标注!浙大团队让GUI定位在无标签数据上自我进化截图1 告别海量标注!浙大团队让GUI定位在无标签数据上自我进化截图2 告别海量标注!浙大团队让GUI定位在无标签数据上自我进化截图3 告别海量标注!浙大团队让GUI定位在无标签数据上自我进化截图4
详细信息
  • 软件大小: 14.39MB
  • 最后更新: 2025/09/07 23:25:36
  • 最新版本: V6.92.7
  • 文件格式: apk
  • 应用分类:ios-Android 成人🔞日本A片无码视频
  • 使用语言: 中文
  • : 需要联网
  • 系统要求: 5.0以上
应用介绍
一,扒开腿十八禁🔞羞羞,女学生喷浆❌❌❌老王66
二,白丝jK爆❌❌乳❌❌免费,嗯~啊~轻一点🈲🔞p站
三,女的被❌到爽成人漫画主页,男女又爽❌又黄❌免费直播
四,喜多川海梦18➕视频在线观看,66❌❌99视频网
五,风流老太婆泬BBWwBBww刘涛性XXXⅩ交XXXX图片,肥胖美女少妇BBBXXXBBB
六,艳女十八式无删减版,茜特拉莉裸身被❌网站,www.教师被❌亚洲精品
七,少年骇客小纹❌AV黄漫网站
【联系我们】
客服热线:134-2881-646
加载更多
版本更新
V7.5.17
🔞免费吃奶摸下激烈在线
  • 欧美胖女人做爱视频

    少妇扒开㊙️让男人桶爽

    🔞漫画涩涩车

    911.35MB
    100好评

    欧美高清XXXXXKKKKK

  • 全网a片免費观看

    过产做受❌❌❌高潮水立方

    日本掀裙子撒尿㊙️

    684.08MB
    5974好评

    国产91♥️丝袜在线播放冈本

  • 一本道在线观看综合无码免费

    白丝袜❌美女扒开内衣网站

    用大🍌狂C她的🍑18

    13.91MB
    315好评

    🔞男生🍆❌男生🍑里17c

  • 银狼被❌到爽🔞高潮痉挛

    扒开小樱❌狂揉❌难受3D

    :韩国女主播裸体吃🐔🐔

    53.97MB
    278好评

    日本熟妇色❌❌❌❌❌日本免

  • 免费观看性生交大片第二集

    泳装美女被扒开👙玩奶头

    真人打扑克直播软件下载安装

    71.43MB
    709好评

    露娜被❌吸乳羞羞

  • 章若楠裸被❌黄文

    俄罗斯美女大乳❌❌❌

    动漫美女洗澡㊙️无遮挡

    83.77MB
    331好评

    赵琳裸体被❌叫爽 在线看

  • 性裸交❌❌❌❌Ⅹ

    偷拍撒尿㊙️视频无打码

    国产男男GaYGAYS✅18脚

    23.65MB
    104好评

    小正太♂脱裤子涩涩视频在线观看

  • 免费🔞成人进口网站

    原神纳西妲涩涩被❌的黄漫

    小🐔🐔伸进91

    50.98MB
    926好评

    美女和老头做爱

  • 静香❌开腿让大雄爽小说

    FerrPorno18💋👙

    高清乱码🔞男女网站在线观看

    83.59MB
    560好评

    动漫美女被❌吸乳羞羞的

  • 女明星裸体㊙️无摭挡

    国产➕刺激➕高潮➕小说

    80岁老太婆AAAA片在线看

    83.64MB
    757好评

    XXXXXXX泡妞🍆🍑日本

  • 动漫纲手露出🐻

    中国男生洗澡裸㊙️

    宝可梦成年版手游下载安装

    32.36MB
    623好评

    女教师用🐻夹我的🍌黄

  • 大片免费播放在线观看视频

    美国videosex禽人交

    美女脱👙给男主捏🐻电影

    26.50MB
    276好评

    ChineseFuckXXXXHDknead

  • 视频丨9l❤️丨无码

    浪小辉与空少酒店的回購協議

    男女啪啪欧美午夜黄片

    65.46MB
    741好评

    女初高中打屁股♥网站╳

  • 大胸❌脱脱内内❌视频

    男人猛躁女人㊙️亚洲白丝

    💚奇优影院️三千收藏

    54.22MB
    756好评

    鸣人❌雏田18禁无码视频

  • 玉女阁第一精品导航

    井野被啪❌自慰爽

    日本裸体乂XX少妇台湾少妇ⅩnXXX性

    57.86MB
    688好评

    cos梦幻火箭被❌在线观看视频

  • 男同被❌c🐻扒衣服网站

    女明星裸体㊙️看个够

    六十七十熟女

    24.55MB
    354好评

    免费无遮挡🔞真人网站下载萝卜

  • 艾丝妲被爆❌羞羞动漫下载

    高清🈚️码🔞❌♋️免费下载

    ♥男男禁漫画网站H

    13.01MB
    312好评

    欧美妇XBXBXBXB

  • 肥胖女人做爰视频全集

    成人扒开🍑伸进🍌涩涩韩漫

    成人🔞性视频免费网站

    84.76MB
    210好评

    巨乳女同学被❌到爽🔞流片自慰

  • 小舞大胸丝袜被❌❌

    在线成人免费看片❌❌❌98

    憋尿➕挠胸➕挠腋窝动漫

    45.77MB
    731好评

    免费🔞成人❌❌❌深夜夜行漫画

  • 中国少妇与动交ZoZ0zHD

    八尺大人爆乳㊙️

    搬家工人当着老公的面

    10.05MB
    188好评

    🔞黄㊙️动漫❌触手

  • 莫妮卡被❌的网站

    精品🈚码产区一区二司机

    火影辉夜被❌吸乳羞羞动漫

    44.94MB
    363好评

    绝区零妮可裸体❌开腿

  • 91➕又粗➕又爽➕又大

    女性脱👙给我揉🐻绑架动漫

    www.🈲🈲🈲火影忍者

    91.41MB
    208好评

    男生互摸jiji㊙️网站

  • 久久AV㊙️一区二区三区app

    3D云曦被❌到爽动漫

    聊骚❌❌18禁AI聊骚

    30.97MB
    906好评

    女人的㊙️祼🐻pH视频

  • 海贼王❌18同人禁网站免费

    徐伦被爆❌羞羞漫画

    永久免费🔞🔞🔞网站视频在线观看

    30.98MB
    543好评

    工棚系列嫖j秃7O老头老太

  • 女学生被❌c视频

    裸身美女❌Genshin网站

    裸体男生的隐私㊙️网站

    29.05MB
    124好评

    粉嫩小泬无遮挡BBBBB图片

  • 黑瓜网今日大赛最新一期内容

    男女❌❌❌❌视频

    女女c🔞黄㊙️❌视频

    70.43MB
    456好评

    蒂法被❌18禁同人动画

  • 女学生裸体被五个人❌❌视频好硬好大18🈲男自慰免费动漫 title="大学生一级一片全黄" class="0v5366j9r7414 app-list-img" src="https://t11.baidu.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

    男生小🐥🐥弄进女生屁股里

    扒开阿银❌狂揉❌难受3d动漫在线播放

  • 美女尿囗㊙️正面图18🈲成人198网站 title="火影纲手喷🔞🈲🍌流水高c" class="0v5366j9r7414 app-list-img" src="https://t10.baidu.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

    美女扒开内👙内裤看个视视频

    网禁🈲拗女稀缺

  • 女人扒开👙让男人揉动漫版高清乱码🔞❌♋免费蓝莓 title="麻豆传谋mdr免费" class="0v5366j9r7414 app-list-img" src="https://t12.baidu.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

    爆❌喷水❌巨乳❌大雷

    精品蜜桃㊙️一区二区三区。

{{.转码Keywords}} 类似软件

猜你喜欢

相关攻略
包含 饿了么 的应用集
包含 饿了么 的应用集
评论
  • 宵宫被❌超污网站 2天前
    老师美女祼体被❌到哭羞羞
  • 杨晨晨扒开腿被❌视频在线 8天前
    扒开动漫疯狂揉❌羞羞3h
  • 91在线无精精品㊙️入口蝌蚪 3天前
    男男跪床❌❌被🌿视频
  • 美女被❌爆乳白丝视频链接 3天前
    免费🔞无码进口动漫网站
  • 樱桃视频在线观看一区二区三区四区五区 3天前
    免费无遮挡🔞网站进口
  • 国产精成人品c 3天前
    国产91精品㊙️入口人妻
  • 动漫一区二区三区四区五区六区 4天前
    http://jxxCC
  • 韩国少妇艳情大片l↗ 8天前
    赵薇性裸交HD
  • 国产乱码一区二区三区四区 1天前
    18🈲小泬白浆
  • TK足恋丨挠奶头 1天前
    3D❌禁漫免费