字节开源“免费版Operator”：能订机票还会改PPT，收货超越GPT

克雷西 发自 凹非寺

量子位 | 公众号 QbitAI

字节与清华相助，抢在OpenAI之前偷偷上线电脑操作智能体UI-TARS，超越GPT-4o和Claude 3.5等一众模子，而且免费商用（Apache 2.0）。

UI-TARS是由阿里的Qwen-VL模子魔改得到，识别过程基于视觉模子和推理杀青，简略一步一步自动完成跨应用的复杂操作，并兼容各式系统。

比如在Mac里绽放浏览器获取天气信息：

或者在Windows系统里绽放推特并发帖：

甚而还能操控手机和web界面，在安卓系统中绽放音乐播放器并搜索歌曲。

在GitHub上，UI-TARS的星标数目依然达到了900+。

网友评价说，UI-TARS的进展比OpenAI深远的Operator进展还要好（此挑剔发出时，Operator还未发布）。

而且Operator要开200好意思元一个月的Pro会员，换算成东说念主民币即是1450，但UI-TARS是免费的。

还有东说念主示意其意旨首要，因为这么的责任模式意味着即使是上古应用，也有望通过AI来进行垄断。

Agent自主搜机票，还会改PPT

在官方的演示视频当中，展示了UI-TARS的三个DEMO。

最先是按照条目，帮用户搜索SEA（西雅图）到NYC（纽约）的机票。

UI-TARS在航空公司的网站上填写了肇端地点，并缔造了指定的日历范围，临了按照价钱波折对搜索恶果进行排序。

总计历程王人是UI-TARS一步步分析网页画面和用户条目，全自主地完成的。

第二个任务是修改PPT，具体条目是将第二页的布景面孔改成和第一页一样。

相通是通过束缚地不雅察、分析和推理，UI-TARS自主完成了一系列动作。

第三个任务则是给VS Code装配一个插件。

此外皮抱抱脸上，还有一个柔顺网友制作的浅显版块不错在线试玩，莫得实操功能但不错上传图片并输入提醒后，让系统分析点击位置。

比如把GitHub上的面孔fork到我方的仓库：

而且一些网站的专属图标也能意志，比如不错给B站上的视频投币：

甚而是绽放微信一又友圈：

同期手机截图也不错识别，比如在小红书上发一篇新帖子，它也知说念应该点击底下的加号：

感知才调方面，在VisualWebBench、WebSRC和ScreenQA-short这三个评测感知才调的基准上，UI-TARS的不同限制版块王人取得了率先的收货。

相称是UI-TARS-72B，在VisualWebBench和ScreenQA-short上收货超越了GPT-4o和Claude 3.5 Sonnet。

UI-TARS-7B则在WebSRC上以93.6的收货位居榜首。

而在定位才调上，UI-TARS在ScreenSpot Pro、ScreenSpot和ScreenSpot v2这三个评测元素定位才调的基准上，相通进展出色。

UI-TARS-72B在ScreenSpot Pro上以38.1的收货大幅率先前SOTA模子UGround-V1-7B；

在ScreenSpot上，UI-TARS-7B以89.5的收货排行第一；在ScreenSpot v2上，UI-TARS-7B和UI-TARS-72B差别以91.6和90.3的收货超越了baseline。

临了是实行才调，具体又不错分红静态（离线）和动态（在线）两种环境。

在三个Multimodal Mind2Web、Android Control和GUI Odyssey静态Benchmark上，UI-TARS在各项要道场所上王人取得了SOTA收货。

UI-TARS-7B固然参数目较少，但也超越了Aguvis-72B和Claude等较强的baseline。

关于动态环境，作家中式了OSWorld和AndroidWorld这两个基准进行评测。

在OSWorld上，在15步预算下，UI-TARS-7B-DPO和UI-TARS-72B-DPO均大幅超越Claude。

何况UI-TARS-72B-DPO在15步预算下，就依然接近Claude在50步预算下的收货。

在50步的预算下，UI-TARS-72B-DPO在更所以24.6的收货刷新了SOTA。

在AndroidWorld上，UI-TARS-72B-SFT也以46.6的收货超越了此前进展最好的框架和模子。

50B数据集魔改Qwen-2-VL

UI-TARS是字节在阿里的开源多模态模子Qwen-2-VL基础之上，使用了50B限制tokens不息磨真金不怕火而成。

磨真金不怕火过程经受了与SOTA模子一致的三阶段磨真金不怕火历程：

最先是流通预磨真金不怕火阶段，在感知、定位和动作数据上进行磨真金不怕火，从而获取交互基础才调；

然后是退火阶段，在筛选的高质地数据子集上进行磨真金不怕火，针对真确场景进行决议优化；

临了是DPO阶段，讹诈反念念数据对进行磨真金不怕火，诱惑模子改造造作行动、强化最优动作。

最先是流通预磨真金不怕火阶段，在感知、定位和动作数据上进行磨真金不怕火，从而获取交互基础才调；

然后是退火阶段，在筛选的高质地数据子集上进行磨真金不怕火，针对真确场景进行决议优化；

临了是DPO阶段，讹诈反念念数据对进行磨真金不怕火，诱惑模子改造造作行动、强化最优动作。

为了克服东说念主工标注数据限制受限的瓶颈，UI-TARS还经受了在线学习的方式，在数百台诬捏机上自动生成新的交互轨迹数据。

然后通过启发式执法、谈话模子评分和东说念主工审核等多级过滤，提纯出高质地数据用于模子微调。

此外，UI-TARS还引入了反念念调优机制，通过对造作进行东说念主工标注和修正，让模子学会从造作中收复。

吸收到运转任务提醒后，UI-TARS会束缚地从斥地吸收视觉信息，并实行相应的动作来完成任务。

在每一个时辰步，UI-TARS以任务提醒、之前的交互历史以及现时不雅察看成输入，输出一套动作并实行。

动作实行后，斥地界面会发生变化，UI-TARS感知新的界面景况，得到下一步的视觉信息，然后抓续迭代直至任务完成（或需要东说念主工介入）。

推理过程中，UI-TARS经受了念念维链（CoT）、系统2念念考等方式，在每个动作前引入“念念考”期间，充任感知和动作之间的桥梁。

通过对大限制GUI教程数据的挖掘，论文总结出任务分解、遥远一致性、里程碑识别、试错和反念念等推理模式。

数据层面，有计划团队也构建了大限制的GUI截图数据集。

数据集包含来自网站、应用步伐和操作系统的截图，以及使用挑升领悟器用提真金不怕火出的元素类型、规模框和文本骨子等元数据。

在此基础上，UI-TARS的磨真金不怕火场所包括五个中枢感知任务：

元素刻画：为每个GUI组件生成详备的结构化刻画，包括元素类型、视觉外不雅、位置信息和功能四个方面；

密集字幕：刻画总计界面的布局、元素间的空间关系、档次结构和交互等，以杀青全面交融；

景况调度字幕：捕捉界面在交互前后的细小视觉变化；

问答：增强模子在概括和推理层面交融界面的才调；

视觉记号：通过为元素添加时事、面孔和大小不同的记号，磨真金不怕火模子将元素与特定的空间、功能波折文关联。

元素刻画：为每个GUI组件生成详备的结构化刻画，包括元素类型、视觉外不雅、位置信息和功能四个方面；

密集字幕：刻画总计界面的布局、元素间的空间关系、档次结构和交互等，以杀青全面交融；

景况调度字幕：捕捉界面在交互前后的细小视觉变化；

问答：增强模子在概括和推理层面交融界面的才调；

视觉记号：通过为元素添加时事、面孔和大小不同的记号，磨真金不怕火模子将元素与特定的空间、功能波折文关联。

为普及UI-TARS实行点击、拖动等操作时对界面元素的定位精度，作家还构建了一个大限制的配对数据集，将元素刻画与其规模框坐标联系联。

具体而言，团队使用挑升的领悟器用提真金不怕火GUI截图中的元素元数据（类型、深度、规模框、文本等），并将每个元素的规模框角点坐标归一化处置。

磨真金不怕火时，将截图与元素刻画配对，条目模子输出刻画对应元素的归一化坐标。

为了让UI-TARS简略跨平台实行任务，团队还盘算推算了一个斡旋动作空间，将移动斥地、桌面应用和网页上语义等价的动作（如点击、键入、篡改、拖动等）映射到一个通用操作蚁合。

同期也引入了平台特定的可选动作，来处置每个平台的专有需求。

团队简介

UI-TARS面孔，由字节Seed团队与清华联手打造。

五名共归拢作当中，有三东说念主王人领有在清华NLP实际室的学习或责任阅历。

比如包括原面壁智能中枢成员、清华博士、开源大模子器用学习引擎BMTools中枢作家秦禹嘉，之前的导师即是清华NLP实际室的刘知远。

签字第二位的叶奕宁，是刘知远团队在读硕士生；签字第五的梁世豪，之前在刘知远团队担任过有计划助理，当今在香港大学读有计划生，并在字节Seed团队实习。

Seed团队开发于2023年1月，是字节越过在AI业务上的用功治愈之一，专注于大模子的研发，由朱文佳带领。

此前朱文佳先后担任本日头条APP认真东说念主（向本日头条CEO陈林陈说，后改为径直向张一鸣陈说）和TikTok居品与工程认真东说念主（向周受资陈说）。

2024年，朱文佳获取培育，全体认真字节AI业务，径直向字节越过CEO梁汝波陈说。

这两天，字节豆包团队又开启了AGI计较，代号“Seed Edge”，场所是探索AGI的新方法。

论文地址：

https://arxiv.org/abs/2501.12326

GitHub：

https://github.com/bytedance/UI-TARS

— 完—

量子位智库年终发布三大年度阐明！

带你通盘总结2024年东说念主工智能、智能驾驶、Robotaxi新趋势，猜想2025年科技行业新机遇！

2024年度AI十大趋势阐明

Robotaxi2024年度款式阐明

智能驾驶2024年度阐明