UI-TARS：你的智能数字助手，让电脑和手机操作变得像说话一样简单

【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS

你是否曾经想过，如果能像和朋友聊天一样告诉电脑或手机“帮我把这个文件整理一下”、“打开那个应用并发送消息”该多好？UI-TARS正是这样一个革命性的AI助手，它让这个梦想成为现实。作为字节跳动和清华大学联合研发的开源多模态智能体，UI-TARS能够理解你的语言指令，并像人类一样操作图形界面，真正实现了“所想即所得”的智能交互体验。

为什么你需要UI-TARS？解决日常操作中的三大痛点

痛点一：重复性操作浪费时间每天我们都在重复点击、拖拽、输入等机械性操作。无论是整理文件、填写表格，还是操作复杂的软件界面，这些重复劳动占据了大量宝贵时间。UI-TARS能够自动化这些过程，让你专注于更有创造性的工作。

痛点二：跨平台操作复杂不同的操作系统、不同的设备、不同的应用界面，每个都需要学习和适应。UI-TARS提供统一的解决方案，无论是Windows、macOS、Linux桌面，还是Android手机，都能用同样的语言指令进行操作。

痛点三：技术门槛高传统的自动化工具需要编程知识，对普通用户来说门槛太高。UI-TARS通过自然语言交互，让不懂编程的人也能轻松实现自动化操作。

UI-TARS智能系统架构：集成了感知、动作、推理和学习四大核心能力

UI-TARS如何工作？三步实现智能操作

第一步：智能感知——像人一样“看懂”屏幕

UI-TARS首先会“观察”你的屏幕，就像人类使用眼睛一样。它能够识别界面上的各种元素：按钮、输入框、菜单、图标等。这种视觉理解能力让UI-TARS能够准确定位需要操作的位置，而不是简单的坐标点击。

第二步：深度思考——制定最佳操作策略

与传统自动化工具不同，UI-TARS会先进行“思考”。它会分析当前界面状态，理解你的指令意图，然后制定出最合适的操作步骤。这种系统2推理能力让UI-TARS能够处理复杂的多步骤任务，而不仅仅是执行预设脚本。

第三步：精准执行——完成你的指令

思考完成后，UI-TARS会将计划转化为具体的操作：点击、输入、拖拽、滚动等。它能够处理各种交互场景，从简单的按钮点击到复杂的多步骤工作流。

UI-TARS的坐标处理技术：智能识别界面元素并精确操作

UI-TARS vs 传统自动化工具：为什么UI-TARS更胜一筹？

五大应用场景：UI-TARS如何改变你的数字生活

1. 办公自动化：告别重复劳动

想象一下，每天早上打开电脑，UI-TARS已经帮你完成了所有准备工作：打开邮箱查看重要邮件、整理前一天的文档、准备会议资料。它能够：

• 自动整理文件和文件夹
• 批量处理邮件和附件
• 生成和格式化报告
• 管理日程和提醒事项

2. 网页操作：智能浏览助手

在网上购物、研究资料或填写表单时，UI-TARS能够：

• 自动填写重复的表单信息
• 收集和整理网页数据
• 完成多步骤的在线操作
• 监控网页变化并通知你

3. 移动应用：手机上的贴心助手

在手机上，UI-TARS同样表现出色：

• 自动安装和配置应用
• 执行日常应用操作
• 管理通知和消息
• 备份重要数据

4. 游戏辅助：智能游戏伙伴

UI-TARS在游戏操作上也展现了惊人能力，在15款不同类型游戏中实现了100%的成功率，包括：

• 2048数字游戏
• 迷宫解谜
• 方块消除游戏
• 策略类游戏

5. 开发测试：质量保障的得力助手

对于开发者来说，UI-TARS是强大的测试工具：

• 自动化界面测试
• 回归测试执行
• 兼容性验证
• 用户体验测试

UI-TARS在各大基准测试中全面超越传统最佳模型，展现卓越性能

三分钟快速上手：立即体验UI-TARS的强大功能

安装UI-TARS

只需要一行命令，你就可以开始使用UI-TARS：

pip install ui-tars

你的第一个UI-TARS程序

让我们从一个简单的例子开始，看看UI-TARS如何理解你的指令并执行操作：

from ui_tars.action_parser import parse_action_to_structure_output, parsing_response_to_pyautogui_code # 告诉UI-TARS你想要做什么 response = "思考：点击这个按钮\n动作：点击(起始框='(100,200)')" original_image_width, original_image_height = 1920, 1080 # UI-TARS解析你的指令 parsed_dict = parse_action_to_structure_output( response, factor=1000, origin_resized_height=original_image_height, origin_resized_width=original_image_width, model_type="qwen25vl" ) # 转换为实际的操作代码 parsed_pyautogui_code = parsing_response_to_pyautogui_code( responses=parsed_dict, image_height=original_image_height, image_width=original_image_width )

选择适合你的操作模式

UI-TARS提供了三种智能模式，适应不同的使用场景：

🖥️ 电脑模式 (COMPUTER_USE)专门为桌面环境设计，支持Windows、Linux、macOS系统的各种操作，包括鼠标点击、键盘输入、拖拽等。

📱 手机模式 (MOBILE_USE)针对移动设备优化，支持Android设备和模拟器，包含长按、应用启动、返回等移动特有操作。

🎯 基础模式 (GROUNDING)轻量级模式，专注于快速执行动作，适合模型训练和评估场景。

性能表现：数据说话的实力证明

UI-TARS在各项基准测试中都取得了令人瞩目的成绩：

桌面操作性能

• 在OSWorld基准测试中：42.5%成功率，远超OpenAI CUA的36.4%
• 在Windows Agent Arena测试中：42.1%成功率，相比之前的29.8%有显著提升

移动设备表现

• Android World测试：64.2%成功率，领先行业水平
• 全面支持移动应用的各种复杂操作

游戏操作能力

• 在15款不同类型游戏中实现100%成功率
• 包括策略、解谜、益智等多种游戏类型

常见问题解答

Q：我需要编程知识才能使用UI-TARS吗？A：完全不需要！UI-TARS设计初衷就是让非技术人员也能轻松使用。你只需要用自然语言告诉它你想要做什么，它就会自动完成。

Q：UI-TARS支持哪些操作系统？A：UI-TARS全面支持Windows、macOS、Linux桌面系统，以及Android移动设备。无论你使用什么设备，都能获得一致的智能体验。

Q：UI-TARS会学习我的操作习惯吗？A：是的！UI-TARS具备从经验中学习的能力。它会根据你的使用习惯优化操作策略，使用时间越长，越了解你的需求。

Q：安装UI-TARS需要什么硬件配置？A：推荐使用支持CUDA的GPU以获得最佳性能，内存建议16GB以上。不过对于简单的日常任务，普通配置的电脑也能流畅运行。

Q：UI-TARS安全吗？会不会误操作重要文件？A：UI-TARS在执行操作前会进行思考和分析，确保操作的正确性。对于重要操作，建议先在小范围测试，熟悉后再应用到重要场景。

Q：我可以自定义UI-TARS的操作吗？A：当然可以！通过修改codes/ui_tars/prompt.py中的提示模板，你可以自定义UI-TARS的行为模式，让它更好地适应你的特定需求。

技术优势：为什么UI-TARS与众不同

原生智能体架构

UI-TARS采用原生智能体设计，能够直接与操作系统界面交互，无需复杂的API集成或特殊权限配置。这意味着更快的响应速度和更稳定的性能。

统一的动作空间

无论操作什么设备、什么应用，UI-TARS都使用统一的动作空间。这种设计让学习成本大大降低，一次学会，处处适用。

强化学习优化

通过强化学习技术，UI-TARS能够从每次操作中学习和优化，不断提升执行效率和准确性。使用时间越长，表现越出色。

多模态理解能力

UI-TARS不仅能看到屏幕内容，还能理解你的语言指令，实现真正的多模态交互。这种能力让它能够处理复杂的、需要上下文理解的任务。

UI-TARS：开创原生智能体GUI交互自动化新纪元

开始你的智能自动化之旅

UI-TARS不仅仅是一个工具，它代表了一种全新的与数字世界交互的方式。通过将复杂的操作简化为简单的语言指令，UI-TARS让技术真正服务于人，而不是让人去适应技术。

无论你是想要提高工作效率的职场人士，还是希望简化日常操作的普通用户，或是寻求创新解决方案的开发者，UI-TARS都能为你带来实实在在的价值。

现在就行动起来，用最简单的命令开始你的智能自动化体验：

git clone https://gitcode.com/GitHub_Trending/ui/UI-TARS cd UI-TARS pip install ui-tars

让UI-TARS成为你的智能数字助手，释放你的时间，专注于真正重要的事情。从今天开始，让电脑和手机操作变得像说话一样简单！

【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS