2025/09/07 02:25:20 1,985次浏览

无需海量数据标注,智能体也能精确识别定位目标元素了!

来自浙大等机构的研究人员提出 GUI-RCPO ——一种自我监督的强化学习方法,可以让模型在没有标注的数据上自主提升GUI grounding (图形界面定位) 能力。

何谓GUI grounding?为什么要提升这项能力?

简单而言,近年来,以视觉-语言模型为骨架的GUI智能体正在迅猛发展,只需要一句语言指令,它们就能像人一样手眼协同地操作电脑、手机、网页等界面。

GUI智能体的一个关键能力在于GUI grounding,也就是根据用户给出的自然语言指令,GUI智能体需要在用户界面中精确地识别并定位可操作的目标元素。

良好的GUI grounding能力可以使得GUI智能体更好地理解图形界面,以及完成更加精准地界面交互。

然而,想要训练这样一种看似简单的能力,却需要大规模高质量的标注数据——当前绝大多数方法动辄需要上百万级的标注数据,而构建这样的高质量的标注数据需要大量的人工和时间成本。

而GUI-RCPO正好解决了上述问题,其核心原理如下:

通过创新性地将Test-time Reinforcement Learning的思想迁移到GUI grounding任务上,利用模型在多次采样之间呈现出来的区域一致性来引导模型在无标签的数据上进行自我提升。

具体内容如下——

GUI-RC:模型采样“求同存异”

当模型针对同一指令进行多次预测时,由于坐标空间的连续性和解码策略带来的随机性,模型会产生不同的预测区域。

尽管这些预测区域的范围可能互不相同,但是它们会存在一定的空间重叠,这种空间重叠实际上蕴含了一种隐式的置信度信号,重叠程度越高潜在地说明了模型对该区域的置信度越高,研究团队将这种空间重叠定义为模型采样中的 区域一致性 。

基于这一洞察,研究团队首先设计了一种基于区域一致性进行空间投票的test-time scaling方法—— GUI-RC 。

首先构建一张与屏幕截图相同大小的投票网格来记录模型每次采样中预测的区域,对于每一个预测结果,将其在网格上对应的区域记上一票,如果模型的预测结果是点坐标,则将其扩展成大小的方框,再投射到网格上。

全部投票结束后,这张网格便记录了模型在采样过程中总体上对每一个像素点的置信度,票数越高的区域代表模型对该区域的信心越强。

随后,提取出网格中票数最高且面积最大的连续区域作为模型采样中的“共识区域”。

最后,利用这块共识区域来进行GUI定位,即可在无需训练的情况下,得到一个更加精确可靠的预测结果。

GUI-RCPO:让模型在无标签数据上自我提升

研究团队进一步提出了一种test-time reinforcement learning方法—— GUI-RCPO ,将模型采样中的区域一致性转换成一种自监督的奖励信号来指导模型的策略优化。

对于每一个预测结果,GUI-RCPO会赋予其预测区域内的 平均票数与最大票数之比 的奖励,反映出该区域在采样中的一致性程度,一致性程度越高的区域会被赋予越高的奖励。

这样一来,GUI-RCPO便可以在无需任何标注数据和外部监督的情况下,利用这种区域一致性奖励来指导模型进行策略优化,让模型的输出更加精准且自信,进而提高奖励的可靠性和质量,从而实现在无标签数据上的自我提升。

实验分析

研究团队将GUI-RC和GUI-RCPO两种方法分别应用到不同的通用模型和GUI专用模型上,并在三个主流的GUI定位基准上进行了全面的评估。

对于GUI-RCPO方法,团队使用去掉真值标签的ScreenSpot-v2作为训练数据集。

实验结果表明,两种方法在不同模型上都有一致的提升。

其中GUI-RCPO带来的提升超过了GUI-RC,说明模型在GUI-RCPO训练过程中并不是在简单地拟合共识区域,而是在真正地学会一种更好的定位策略。

此外,GUI-RCPO对于已经在GUI任务上进行过预训练的模型仍然会带来进一步的提升,证明了方法的有效性。

此外,GUI-RCPO还展现出良好的 泛化能力 ,尽管模型只在针对通用场景的ScreenSpot-v2数据集上进行训练,但是在更有挑战性的针对专业场景的ScreenSpot-Pro基准上依然有显著的提升。

并且随着训练步数的增加,模型在三个基准上的表现都有稳定的提升,进一步证明了GUI-RCPO的泛化能力。

研究团队还尝试在GUI-RCPO训练之后,继续使用GUI-RC进行空间区域投票,并发现模型的表现还能进一步提升,说明通过这种自我强化的循环,模型可以在没有任何标注数据和外部监督的情况下,不断突破预期的性能上限。

案例分析

研究团队提供了两个案例,分别展示了GUI-RC可以解决的GUI定位中存在的两类幻觉。

在一个电商界面里,用户指令要求GUI智能体在时尚购物区中查看 低于50美元的鞋子 (图片中蓝色方框框选的区域),而在贪心解码策略下,模型却被相近的语义与版面布局迷惑,错误地框选到了 “低于25美元的上衣” 区域(左侧图片中红色方框框选的区域),这是典型的语义错配导致的误导性幻觉。

GUI-RC通过对同一指令进行多次采样,并投票选出采样中的 共识区域 (右侧图片中绿色方框框选的区域),成功地将模型的注意力稳定地聚合到正确的区域,从而纠正了单次预测的误导性错误,给出更精确的定位。

在一个电子平台界面里,用户指令要求GUI智能体 “联系销售” (图片中蓝色方框框选的区域),而在贪心解码策略下,模型却把右侧的 整张信息卡片 当作目标(左侧图片中红色方框框选的区域),而不是精确地框选可点击的“联系销售”按钮。

GUI-RC通过多次采样投票的方式,把一次次略有偏差的预测聚合并提取出一个更加精确、自信的 共识区域 (右侧图片中绿色方框框选的区域),成功地完成了精准的定位,消除了这类偏差性幻觉。

小结一下

研究团队首先设计了一种无需训练的test-time scaling方法——GUI-RC,通过利用模型在采样过程中呈现出来的空间区域一致性提取出模型的共识区域,从而实现更加精准自信的定位。

为了继续发掘区域一致性的潜力,团队进一步提出了一种test-time reinforcement learning方法——GUI-RCPO,将区域一致性转化为一种自监督的奖励信号,使得模型能够在无需任何标注数据的情况下不断地进行自我提升。

实验证明了该方法有广泛的适用性和良好的泛化能力。

团队的研究揭示了test-time training在GUI智能体领域中的潜力,为构建更加数据高效的GUI智能体提供了一个可行的方向。

论文链接:https://arxiv.org/abs/2508.05615 项目主页:https://zju-real.github.io/gui-rcpo/ 代码仓库:https://github.com/ZJU-REAL/GUI-RCPO

告别海量标注!浙大团队让GUI定位在无标签数据上自我进化
告别海量标注!浙大团队让GUI定位在无标签数据上自我进化

唐国强梦到哪句说哪句

「活动」kumawubiaotitest

604.71MB
版本V3.455.38
下载体育生自慰出精🔞🈲Gay安装你想要的应用 更方便 更快捷 发现更多
喜欢 51%好评(128人)
评论 16
告别海量标注!浙大团队让GUI定位在无标签数据上自我进化截图0 告别海量标注!浙大团队让GUI定位在无标签数据上自我进化截图1 告别海量标注!浙大团队让GUI定位在无标签数据上自我进化截图2 告别海量标注!浙大团队让GUI定位在无标签数据上自我进化截图3 告别海量标注!浙大团队让GUI定位在无标签数据上自我进化截图4
详细信息
  • 软件大小: 022.379MB
  • 最后更新: 2025/09/07 02:25:20
  • 最新版本: V6.71.7
  • 文件格式: apk
  • 应用分类:ios-Android 温迪疯狂❌自慰喷水
  • 使用语言: 中文
  • : 需要联网
  • 系统要求: 5.1以上
应用介绍
一,91娇喘⭕⭕❌❌白丝,动漫版,精品🈚码产在线观看
二,激情做爱视频,我想看日本三级片视频我想看一本道
三,免费看动漫裸体🔞🔞🔞网站软件,男男脱裤子🔞jiji露出来视频
四,野原琳被爆❌无尽视频,路飞❌❌娜美羞羞漫画
五,丰满岳乱妇一区二区三区电影,动漫同人18❌动漫免费APP
六,国产盗摄小黄书,户外撒尿偷拍㊙️FindSex,裸男㊙️全祼与裸男
七,91看片白丝校🌸脱白丝让我c
【联系我们】
客服热线:134-2881-646
加载更多
版本更新
V7.5.17
妖刀姬❌爆爽自慰喷水漫画
  • 18🈲🍆🍑直91

    动漫孕妇裸体❌羞羞网站

    美女的尿口㊙️免费站

    721.51MB
    104好评

    扒下老师衣服❌❌❌❌

  • 70岁老太婆黄片毛片久久

    国产精品㊙️麻豆藏经阁

    18🈲乳液啪啪免费漫画

    0.99MB
    738好评

    性大陆婬妇❌❌❌❌❌

  • 嫩BBB槡BBBB槡BBBB小号

    老师疯狂❌喷水自慰

    美女➕无遮挡➕光屁股

    13.76MB
    318好评

    春水福利成人app❤

  • 佐良娜被脱内衣被❌

    Genshin❌MMD18R

    东北孕妇黄色片录像

    53.47MB
    274好评

    3d美女❌羞羞漫画

  • 女性隐私㊙️免费观看视频的链接

    98在线无码精品㊙️入口男同

    翁吃熄奶小说阅读

    71.40MB
    701好评

    白丝校🌸让我C动漫

  • 芒果视频♥成人app入口

    克洛琳德裸体❌开腿涩涩

    免费🔞成人❌❌美女女电影

    83.26MB
    333好评

    ❌❌❌禄体视频小婴

  • 免费静香被强❌禁欲小说

    A片成人18㊙️免费观看

    主人扒开女仆🍑往里面灌水

    23.24MB
    100好评

    免费➕无码➕国产65在线

  • 动漫白丝校🌸脱白丝让我c

    免费看裸体🔞🔞🔞free

    王昭君裸乳被❌歪歪视频H文

    50.01MB
    928好评

    动漫美女隐私㊙️打扑视频

  • 捆绑㊙️免费视频网站紫金

    小兰乳液狂飙?👙视频

    大乳美女❌❌裸体www

    83.49MB
    569好评

    云缨爆❌白浆网站真看

  • 成人🔞高潮片免费视频在线

    女性扒开👙看个够挠痒软件

    捆绑㊙️免费视频网站

    83.75MB
    759好评

    国产精品㊙️麻豆免费网站

  • 国产㊙️传媒二次播放

    XXNX16👙中国免费

    国产➕又黄➕视频又爽

    32.14MB
    621好评

    Free♥XXX♥yaoi漫画

  • ❤国产精品海角社区免费视频

    🈚码产区一区二

    亚洲Av㊙️无码一区二区

    26.50MB
    276好评

    男男GayGay✅无套

  • AV无码㊙️蜜桃

    麻豆无遮挡无🈚码

    香蕉AV㊙️一区二区三区

    65.57MB
    748好评

    原神琳妮特裸体❌污污网站

  • 动漫被c到爽🔞

    亂伦XXXX乱交性爱视频

    香蕉漫画❌黄漫免费网站

    54.65MB
    752好评

    周防有希同人18❌动漫

  • ❤爱情岛vip永久入口图片

    照美冥裸体被❌羞羞视频

    女女动漫❌黄漫免费网站

    57.94MB
    684好评

    男男疯狂❌喷水自慰爽下载

  • 男人的🍌伸到🍑视频

    工口18🈲色情H游戏

    女生和男生一起努力生孩子视频真实在线看

    24.10MB
    352好评

    GaYGAY✅自慰

  • 崩铁花火裸体❌开腿黄漫

    原神被❌乳液涩涩免费软件

    男男十八禁🈲🈲🈲gey

    13.00MB
    312好评

    爱豆精品㊙️国产传媒在线观看

  • 无码精品人妻一区二区三刘亦菲

    美女被触角怪❌在线观看

    淫人网学生14XXXXL

    84.92MB
    217好评

    🔞免费吃奶摸下激烈女同

  • 蘑菇视频成人蘑菇视频在线观看

    鬼灭之刃18➕本子

    澎湃新闻坤坤赛进桃子里?🍑🍑

    45.02MB
    737好评

    性猛交怪物❌XX❌h

  • 性欧美1819性猛交m

    国产十八禁🔞无码免费网站

    xnxxx黄色

    10.64MB
    185好评

    "18🈲🍆🍆🍆🍆网站"免费观看漫画

  • 国产Chinese男男GayGayAPP

    动漫🔞男生🍆❌男生🍑里

    日本打白嫩㊙️光屁股网站

    44.87MB
    361好评

    3D裸体啪啪❌H图片

  • 男男成人羞羞🔞国产免费

    中国➕又黄➕又爽刺激网站Mv

    黑人插中学生美女B视频

    91.74MB
    204好评

    XXⅩXx18一20HD

  • 银狼被狂揉下部❌涩涩

    美杜莎被❌吸乳羞羞A片

    动漫❤️天堂3d

    30.78MB
    905好评

    XXXⅩXXXX18

  • 👙🈲㊙️黄游免费

    女人和女人又爽❌又黄❌

    男女啪啪未满十八🈲️

    30.29MB
    541好评

    色㊙️无码一码二码三码唱戏

  • 18禁🍋🍋🍑🍑网站入口

    欲漫涩❤️免费网站入口

    女无套自慰✅免费

    29.39MB
    125好评

    美女露出🐻让男生揉 的网站

  • 歪歪网站小黃片㊙️🈲真人

    女女又黄❌又爽❌视频

    成人❤️羞羞网视频免费

    70.28MB
    454好评

    tiktok海外直播网络专线

  • 美女的秘密打屁屁㊙️免费视频美女扒开内👙看个够动漫 title="美女内裤㊙️露出奶头的" class="0v5366j9r7414 app-list-img" src="https://t11.baidu.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

    扒开芙宁娜❌狂揉❌难受3d动漫

    国产精品㊙️入口星空传媒蒙娜

  • 女人又爽❌又黄❌打屁股流萤自慰👙 title="动漫♂️yaoi自慰GAY漫画" class="0v5366j9r7414 app-list-img" src="https://t10.baidu.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

    性少妇freesexvideos高清BBw

    国产丝袜女老板A片

  • 成人欧美一区二区三区黑人冫美女光溜溜图片视频素材 title="男男♂粗啊好深啊啊啊啊啊啊啊" class="0v5366j9r7414 app-list-img" src="https://t12.baidu.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

    雷电将军被❌到深处喷水

    免费无遮挡🔞漫画网站男男

{{.转码Keywords}} 类似软件

猜你喜欢

相关攻略
包含 饿了么 的应用集
包含 饿了么 的应用集
评论
  • 女仆扒开腿㊙️让黄鳝钻 3天前
    斗罗大陆❌18禁漫画同人
  • 蜜桃视频app色版❤网站链接 4天前
    www成人🔞色情裸体网站
  • 高中粉嫩学生XX第一次 7天前
    91➕国产➕爽爽黄➕在线
  • 崩坏3D同人动漫❌免费网站 4天前
    porin25HD😘动漫
  • 裸体裸乳🍑日本视频 1天前
    真人实拍女初披破WWW免费看
  • 美女撒尿无㊙️网站 0天前
    女仆露出🍑给客人玩
  • 国产➕又黄➕又爽 0天前
    美女❌❌❌免费视频动漫打屁股
  • 杨幂翘臀后进啪啪 6天前
    ㊙️ThePorn无码
  • 扒开腿狂❌触手 3天前
    裸乳被爆❌白浆的视频
  • 两个男人露jiji㊙️免费视频 3天前
    动漫❌❌爆乳❌❌扶她-在房间里🌿到