字节Seed最新版原生智能体来了!一个模型搞定手机/电脑自主操作

浏览数:215    发布时间:2025/09/07 02:30:12

AI自己玩手机、玩电脑、操作网页浏览器……背后还只靠一个模型。

卷王 字节Seed 又把智能体带到了一个全新level~

比如任务是酱紫的:

而通过一系列操作,Agent仅用时35s就得出了答案为4000克。

这就是Seed最新发布的智能体 UI-TARS-2 ,它不止采用了All in one这样的原生设计,而且表现更是优于Claude和OpenAI Agent等竞争对手。

来看团队成员晒出的成绩单,不管是操作电脑/手机,还是使用浏览器、玩15款小游戏,其丝滑程度和完成率现在已经超越一众竞争对手,并进一步接近人类水平。

而且这里还透露了UI-TARS-2背后的关键秘诀:

划重点, 多轮强化学习 。依靠这一技巧,UI-TARS-2核心解决了“让AI自主操作图形界面(GUI)”的四大难题:

且看字节团队如何见招拆招——

针对四大难题打出“组合拳”

先来看UI-TARS-2的整体设计思路和框架。

其核心目标为: 构建一个真正原生、通用、跨平台的GUI智能体,能在电脑、手机、网页、终端,甚至游戏里自主完成复杂任务。

为此,UI-TARS-2架构主要包含下面这几个部分:

1、统一的Agent架构 :以大语言模型为核心决策器(Planner),将自然语言指令→GUI/终端/工具操作,全部纳入一个通用执行循环,同时支持GUI点击、键盘输入、终端命令、API调用等多种操作流。

2、多模态感知与环境交互 :输入端整合屏幕截图(视觉)+文本上下文+历史操作轨迹,输出端可以是点击坐标、拖拽动作、命令行、甚至API请求,形成感知—决策—执行—反馈的完整闭环。

3、多轮强化学习 :不依赖人工标注,而是通过环境反馈奖励优化策略,同时采用模拟环境(sandbox)+自动化任务生成,构建出“数据飞轮”,让模型能不断自我进化。

4、混合操作流(Hybrid Flows) :在一次任务轨迹中,智能体可以无缝组合GUI点击、终端命令和API调用。例如,在网页上找资料(GUI),处理数据(终端),再调用搜索API(工具)。

下面这个让UI-TARS-2玩游戏的例子,很好地展示了这套框架的具体运作过程:

而基于这套框架,UI-TARS-2逐一解决了智能体自主操作GUI面临的四大难题。

靠“数据飞轮”解决数据少的问题

为了打造数据飞轮,团队采用了以下策略:

1)冷启动 :这一阶段主要是广泛收集原始数据,以及通过合成数据和人工标注来构建监督微调所需的原始高质量、任务针对性强的数据。

2)多轮迭代 :有了数据之后,先让模型通过预训练学习更广泛的知识 (如不同GUI操作流程、任务解决思路等) ,再使用高质量特定任务数据对模型进行优化,最后通过强化学习进行端到端优化。

在每轮迭代中,团队会使用拒绝采样(RFT)或交互标注生成新轨迹,这些轨迹记录了模型在执行任务过程中的推理、动作、环境状态以及反馈等信息,将其按质量筛选后,高质量的进微调数据集,低质量的进预训练数据集。

3)循环增强 :然后模型用更新后的数据集重新训练,能力提升后又能生成更好的轨迹,形成 “模型变好→数据变好→模型更好”的循环 ,不断解决数据稀缺问题。

用“多轮强化学习”让AI操作更稳

针对传统强化学习在GUI 长周期任务中 “奖励稀疏、优化不稳定、信用分配难” 的问题,团队从任务设计、奖励机制、训练流程三方面进行了优化。

如何进行任务奖励设计?团队先对任务类型进行拆分:

对可验证任务 (如游戏得分、网页信息检索) ,用明确信号 (成功/失败、LLM对比答案打分) 当奖励;

对模糊任务 (如复杂GUI操作),训练UI-TARS-2自身作为“奖励模型”,根据轨迹和截图输出任务成功分数,保证奖励可靠。

确定了这一模式后,团队摒弃“等所有任务完成再训练”的模式,转而采用 “异步rollout” ——

把模型推理环节单独拿出来,和实际执行过程分离,互不干扰;同时只要凑够最少需要的轨迹数量,就立刻用这些完成的轨迹开始训练,那些未完成的就留到下一轮。

等到训练时,团队还在PPO算法上进行了3处优化,从而让模型操作更稳,包括用“解耦GAE”避免长序列价值估计偏差、用“不对称裁剪”鼓励模型尝试那些看似不常用、但可能有效的操作等。

打造“混合操作环境”突破界面限制

为解决纯GUI操作(仅鼠标/键盘)无法应对数据处理、软件开发等复杂工作流的问题,团队构建了 “GUI+多工具” 融合的交互环境:

不仅整合多操作流 ,比如在同一环境里,智能体既能做GUI基础操作 (点击、输入、滚动网页/APP) ,又能直接调用终端命令 (如用Bash处理文件) 、调用API,无需切换上下文。

还为其适配多场景载体 ,比如在云虚拟机里,内置文件系统、远程VS Code、Jupyter等工具;在浏览器沙箱里,也能关联终端功能,让操作覆盖“桌面-移动-游戏” 全场景。

建“统一沙盒平台”支撑大规模训练

针对传统环境“难复现、易崩溃、吞吐量低”的工程瓶颈,团队打造了 兼容多载体的统一沙盒 ,保障百万级交互训练需求。

简单来说,这就是一个虚拟的模型训练场,支持智能体在里面大规模练习、试错和进化。

以下为一个浏览器沙盒的示意图,据此也能看到沙盒的大致运作方式:

优于Claude和OpenAI Agent等竞争对手

那么,UI-TARS-2的实际表现如何呢?

根据介绍,UI-TARS-2是团队基于 Seed-thinking-1.6 (总参数230B,含532M视觉编码器 + 23B激活参数) ,经过多轮迭代训练而成。

在多个权威GUI测试里,比如OSWorld (369个Windows/Ubuntu/macOS任务) 、WindowsAgentArena (150个 Windows任务) 、TerminalBench (命令行任务) 等,它的得分都比Claude、OpenAI的同类模型更高。

换句话说,在电脑、手机、浏览器操作上,UI-TARS-2的表现明显更好。

而且在15款小游戏 (比如2048、拼图、迷宫) 里,它的平均得分差不多是人类水平的60%,比OpenAI、Claude的游戏AI强不少,有的游戏 (如“Shapes”) 甚至比人玩得还好。

即使面对一些更复杂的游戏测试 (LMGame-Bench) ,它也能和o3打得有来有回。

当然了,它不光会点界面、玩游戏,还能干“查资料”、“写代码修bug” 这样的活儿,而且成绩比只靠界面操作强很多。

总之,UI-TARS-2无疑验证了多轮强化学习在智能体进化上的有效性。

论文: https://arxiv.org/abs/2509.02544 demo: https://seed-tars.com/showcase/ui-tars-2/

燃烧欲望,月光洒落肩头,是最温柔的告白!_【2025/09/07 02:30:12】【bilibili】【哔哩哔哩】 字节Seed最新版原生智能体来了!一个模型搞定手机/电脑自主操作
字节Seed最新版原生智能体来了!一个模型搞定手机/电脑自主操作

/search-56749376-lzkhtml

「活动」kumadaibiaotitest

4.92MB
版本V8.75.650
下载打扑克又疼又叫原声视频安装你想要的应用 更方便 更快捷 发现更多
喜欢 97%好评(17561人)
评论 49
字节Seed最新版原生智能体来了!一个模型搞定手机/电脑自主操作截图0 字节Seed最新版原生智能体来了!一个模型搞定手机/电脑自主操作截图1 字节Seed最新版原生智能体来了!一个模型搞定手机/电脑自主操作截图2 字节Seed最新版原生智能体来了!一个模型搞定手机/电脑自主操作截图3 字节Seed最新版原生智能体来了!一个模型搞定手机/电脑自主操作截图4
详细信息
  • 软件大小  29250.93862MB
  • 最后更新  2025/09/07 02:30:12
  • 最新版本  V4.99192.2
  • 文件格式  apk
  • 应用分类 ios-Android 少萝扒开腿㊙️视频
  • 使用语言  中文
  •   需要联网
  • 系统要求  9.02645以上
应用介绍
捷克美女色综合国产精品㊙️密A片老牛视频
明日方舟R18❌羞羞视频
国产精品㊙️入口AI换脸
农民工妓女一级A片免费
大c🔞黄㊙️❌网站下载
男男被❌到爽🔞流视频APP
美女被扒开腿坐做❌直播图片
强暴女人软件

【联系我们】
客服热线:135-2881-646
加载更多
版本更新
V3.7.32
海角吃瓜黑料2

字节Seed最新版原生智能体来了!一个模型搞定手机/电脑自主操作类似软件

猜你喜欢

包含 饿了么 的应用集
评论
  • 扒开❌狂揉❌羞羞女女视频 8天前
    免费🔞成人❌❌❌深夜夜行漫
  • 美女胸黄18禁❌壁纸免费 4天前
    老年人性爱视频网址
  • 高清码❌♋免费漫画视频 9天前
    美女扒开内裤㊙️无遮挡照片
  • 男人的🍌伸到🍑坤坤 0天前
    ▶️Jasmine james HD
  • 久久国产精品人妻国产❌❌乳 2天前
    3D宁荣荣自慰爽被❌
  • 曰本人配人乄❌❌㐅 7天前
    老师让我❌了她一夜视频
  • 全彩ACG⭐️无翼乌邪恶游泳 8天前
    日本护士和老师做XXXX
  • ♥桃花视频♥成人 3天前
    男女愁愁视频
  • 把熟女屁股眼玩出屎50p 9天前
    男的不戴套🌿一个女的
  • 18禁🍆🍑🔞❌❌❌泡妞 2天前
    XX乂乂㊙️XXX人XXXXX