字节Seed最新版原生智能体来了!一个模型搞定手机/电脑自主操作

浏览数:956    发布时间:2025/09/07 02:37:44

AI自己玩手机、玩电脑、操作网页浏览器……背后还只靠一个模型。

卷王 字节Seed 又把智能体带到了一个全新level~

比如任务是酱紫的:

而通过一系列操作,Agent仅用时35s就得出了答案为4000克。

这就是Seed最新发布的智能体 UI-TARS-2 ,它不止采用了All in one这样的原生设计,而且表现更是优于Claude和OpenAI Agent等竞争对手。

来看团队成员晒出的成绩单,不管是操作电脑/手机,还是使用浏览器、玩15款小游戏,其丝滑程度和完成率现在已经超越一众竞争对手,并进一步接近人类水平。

而且这里还透露了UI-TARS-2背后的关键秘诀:

划重点, 多轮强化学习 。依靠这一技巧,UI-TARS-2核心解决了“让AI自主操作图形界面(GUI)”的四大难题:

且看字节团队如何见招拆招——

针对四大难题打出“组合拳”

先来看UI-TARS-2的整体设计思路和框架。

其核心目标为: 构建一个真正原生、通用、跨平台的GUI智能体,能在电脑、手机、网页、终端,甚至游戏里自主完成复杂任务。

为此,UI-TARS-2架构主要包含下面这几个部分:

1、统一的Agent架构 :以大语言模型为核心决策器(Planner),将自然语言指令→GUI/终端/工具操作,全部纳入一个通用执行循环,同时支持GUI点击、键盘输入、终端命令、API调用等多种操作流。

2、多模态感知与环境交互 :输入端整合屏幕截图(视觉)+文本上下文+历史操作轨迹,输出端可以是点击坐标、拖拽动作、命令行、甚至API请求,形成感知—决策—执行—反馈的完整闭环。

3、多轮强化学习 :不依赖人工标注,而是通过环境反馈奖励优化策略,同时采用模拟环境(sandbox)+自动化任务生成,构建出“数据飞轮”,让模型能不断自我进化。

4、混合操作流(Hybrid Flows) :在一次任务轨迹中,智能体可以无缝组合GUI点击、终端命令和API调用。例如,在网页上找资料(GUI),处理数据(终端),再调用搜索API(工具)。

下面这个让UI-TARS-2玩游戏的例子,很好地展示了这套框架的具体运作过程:

而基于这套框架,UI-TARS-2逐一解决了智能体自主操作GUI面临的四大难题。

靠“数据飞轮”解决数据少的问题

为了打造数据飞轮,团队采用了以下策略:

1)冷启动 :这一阶段主要是广泛收集原始数据,以及通过合成数据和人工标注来构建监督微调所需的原始高质量、任务针对性强的数据。

2)多轮迭代 :有了数据之后,先让模型通过预训练学习更广泛的知识 (如不同GUI操作流程、任务解决思路等) ,再使用高质量特定任务数据对模型进行优化,最后通过强化学习进行端到端优化。

在每轮迭代中,团队会使用拒绝采样(RFT)或交互标注生成新轨迹,这些轨迹记录了模型在执行任务过程中的推理、动作、环境状态以及反馈等信息,将其按质量筛选后,高质量的进微调数据集,低质量的进预训练数据集。

3)循环增强 :然后模型用更新后的数据集重新训练,能力提升后又能生成更好的轨迹,形成 “模型变好→数据变好→模型更好”的循环 ,不断解决数据稀缺问题。

用“多轮强化学习”让AI操作更稳

针对传统强化学习在GUI 长周期任务中 “奖励稀疏、优化不稳定、信用分配难” 的问题,团队从任务设计、奖励机制、训练流程三方面进行了优化。

如何进行任务奖励设计?团队先对任务类型进行拆分:

对可验证任务 (如游戏得分、网页信息检索) ,用明确信号 (成功/失败、LLM对比答案打分) 当奖励;

对模糊任务 (如复杂GUI操作),训练UI-TARS-2自身作为“奖励模型”,根据轨迹和截图输出任务成功分数,保证奖励可靠。

确定了这一模式后,团队摒弃“等所有任务完成再训练”的模式,转而采用 “异步rollout” ——

把模型推理环节单独拿出来,和实际执行过程分离,互不干扰;同时只要凑够最少需要的轨迹数量,就立刻用这些完成的轨迹开始训练,那些未完成的就留到下一轮。

等到训练时,团队还在PPO算法上进行了3处优化,从而让模型操作更稳,包括用“解耦GAE”避免长序列价值估计偏差、用“不对称裁剪”鼓励模型尝试那些看似不常用、但可能有效的操作等。

打造“混合操作环境”突破界面限制

为解决纯GUI操作(仅鼠标/键盘)无法应对数据处理、软件开发等复杂工作流的问题,团队构建了 “GUI+多工具” 融合的交互环境:

不仅整合多操作流 ,比如在同一环境里,智能体既能做GUI基础操作 (点击、输入、滚动网页/APP) ,又能直接调用终端命令 (如用Bash处理文件) 、调用API,无需切换上下文。

还为其适配多场景载体 ,比如在云虚拟机里,内置文件系统、远程VS Code、Jupyter等工具;在浏览器沙箱里,也能关联终端功能,让操作覆盖“桌面-移动-游戏” 全场景。

建“统一沙盒平台”支撑大规模训练

针对传统环境“难复现、易崩溃、吞吐量低”的工程瓶颈,团队打造了 兼容多载体的统一沙盒 ,保障百万级交互训练需求。

简单来说,这就是一个虚拟的模型训练场,支持智能体在里面大规模练习、试错和进化。

以下为一个浏览器沙盒的示意图,据此也能看到沙盒的大致运作方式:

优于Claude和OpenAI Agent等竞争对手

那么,UI-TARS-2的实际表现如何呢?

根据介绍,UI-TARS-2是团队基于 Seed-thinking-1.6 (总参数230B,含532M视觉编码器 + 23B激活参数) ,经过多轮迭代训练而成。

在多个权威GUI测试里,比如OSWorld (369个Windows/Ubuntu/macOS任务) 、WindowsAgentArena (150个 Windows任务) 、TerminalBench (命令行任务) 等,它的得分都比Claude、OpenAI的同类模型更高。

换句话说,在电脑、手机、浏览器操作上,UI-TARS-2的表现明显更好。

而且在15款小游戏 (比如2048、拼图、迷宫) 里,它的平均得分差不多是人类水平的60%,比OpenAI、Claude的游戏AI强不少,有的游戏 (如“Shapes”) 甚至比人玩得还好。

即使面对一些更复杂的游戏测试 (LMGame-Bench) ,它也能和o3打得有来有回。

当然了,它不光会点界面、玩游戏,还能干“查资料”、“写代码修bug” 这样的活儿,而且成绩比只靠界面操作强很多。

总之,UI-TARS-2无疑验证了多轮强化学习在智能体进化上的有效性。

论文: https://arxiv.org/abs/2509.02544 demo: https://seed-tars.com/showcase/ui-tars-2/

打破沉默,月光洒落肩头,是最温柔的告白!_【2025/09/07 02:37:44】【bilibili】【哔哩哔哩】 字节Seed最新版原生智能体来了!一个模型搞定手机/电脑自主操作
字节Seed最新版原生智能体来了!一个模型搞定手机/电脑自主操作

/search-23995489-lzkhtml

「活动」kumadaibiaotitest

5.53MB
版本V9.37.674
下载水密桃2⛄CM,CCm安装你想要的应用 更方便 更快捷 发现更多
喜欢 44%好评(37270人)
评论 91
字节Seed最新版原生智能体来了!一个模型搞定手机/电脑自主操作截图0 字节Seed最新版原生智能体来了!一个模型搞定手机/电脑自主操作截图1 字节Seed最新版原生智能体来了!一个模型搞定手机/电脑自主操作截图2 字节Seed最新版原生智能体来了!一个模型搞定手机/电脑自主操作截图3 字节Seed最新版原生智能体来了!一个模型搞定手机/电脑自主操作截图4
详细信息
  • 软件大小  68119.92225MB
  • 最后更新  2025/09/07 02:37:44
  • 最新版本  V6.71568.0
  • 文件格式  apk
  • 应用分类 ios-Android 动漫美女隐私㊙️无遮挡
  • 使用语言  中文
  •   需要联网
  • 系统要求  3.38242以上
应用介绍
www.LuYao💫.comjapvideos❌❌❌❌老师
成人性生活大片免费看r
洛天依美女裸体❌小花仙
免费看裸体🔞🔞🔞涂抹视频
bbbbbb888
免费追漫软件
白丝老师让我❌了一夜动漫
美女裸体㊙️光屁股视频

【联系我们】
客服热线:135-2881-646
加载更多
版本更新
V1.7.38
原神夜兰被温迪❌吸乳

字节Seed最新版原生智能体来了!一个模型搞定手机/电脑自主操作类似软件

猜你喜欢

包含 饿了么 的应用集
评论
  • 美女扒开腿❌裸体视頻 5天前
    非洲人一级特黄大片做受
  • 西施脱了内裤给我❌ 3天前
    女性脱👙给我揉🐻下集
  • Naruto❌sarada18禁无尽 5天前
    玉足疯狂❌喷水自慰爽日语小舞
  • 一级片舔逼 0天前
    ❌❌❌免费裸体视频网站色大师
  • 自慰❌挤奶羞免费网站少萝 9天前
    999影片库♨️_第34集
  • “大猪蹄子”聂远来袭跑男baby自夸演技好被猛捶 0天前
    巴西大屁妓女㐅❌㐅
  • 把女人❌的嗷嗷嗷叫视频软件 5天前
    动漫无码番肉18❤在线观看
  • GayGay✅打光屁股 1天前
    老师挤奶㊙️视频
  • 班长让我揉她胸🐻脱它衣服 3天前
    日本人妻❌❌❌❌OOO752
  • 国產乱老熟视頻老熟女AA网 6天前
    美女被男人狂揉下部❌漫