拓冰网站定制 
Open Computer Use 9 大工具速查表click、type_text、drag、scroll 参数与用法完整指南【免费下载链接】open-codex-computer-use Open Computer Use – Open-Source Alternative to Codex Computer Use项目地址: https://gitcode.com/gh_mirrors/op/open-codex-computer-useOpen Computer Use 是一款开源的电脑控制Computer Use服务通过 MCP 协议让 AI 智能体像人一样点击、打字、拖拽和滚动你的应用。本文用速查表 参数详解的形式帮你一次性掌握 click、type_text、drag、scroll 等全部 9 大工具的用法快速上手自动化操作。一分钟了解Open Computer Use 是什么open-computer-use是一个开源的Computer Use服务包装为标准MCP服务可运行在macOS、Linux、Windows三大平台。任何支持 MCP 的 AI 客户端如 Codex、Claude Code、Gemini CLI接入后都能获得完整的看屏幕 操作电脑能力。它提供了 9 个原生工具覆盖感知 → 操作的完整闭环list_apps 列出运行中的应用 get_app_state 截图 无障碍树核心感知工具 click 点击元素或坐标 perform_secondary_action 触发元素的次级动作 scroll 按方向、页数滚动 drag 从一点拖拽到另一点 type_text 输入文本 press_key 按键或快捷键组合 set_value 直接设置可写元素的值MCP 服务端暴露的完整工具清单见 usage.md9 个工具的参数定义源码在 ToolDefinitions.swift。最快安装方法一条命令上手npm i -g open-computer-usenpm 包同时提供短别名ocu之后可直接用ocu代替open-computer-use。macOS 用户注意需要 macOS 14.0 或更高版本且首次运行要授予「辅助功能」和「屏幕录制」权限Windows / Linux 无需此步骤。open-computer-use # 或 ocu然后把它安装进你的 AI 客户端open-computer-use install-codex-mcp # 安装到 Codex open-computer-use install-claude-mcp # 安装到 Claude Code open-computer-use install-gemini-mcp # 安装到 Gemini CLI安装完成后AI 智能体即可直接调用下面 9 个工具无需再写代码。 9 大工具速查表工具用途必填参数可选参数只读list_apps列出运行中 近 14 天用过的应用无无✅get_app_state截图 无障碍树感知当前界面apptext_limit、max_tree_nodes、max_tree_depth✅click点击元素或像素坐标appelement_index、x/y、click_count、mouse_button、click_method❌type_text键入一段文本app、text无❌press_key按键或快捷键xdotool 语法app、key无❌scroll滚动元素app、element_index、directionpages❌drag坐标拖拽app、from_x/from_y、to_x/to_y无❌set_value直接设置可写元素的值app、element_index、value无❌perform_secondary_action触发元素次级动作app、element_index、action无❌ 通用规则app填应用名或 bundle id由list_apps返回element_index来自上一次get_app_state返回的无障碍树操作前务必先刷新状态。 高频工具逐个详解1. get_app_state一切操作的起点每个助手回合开始、以及任何界面变化跳转、弹窗、失败之后都要先调用它拿到截图 无障碍树才能决定点哪里open-computer-use call get_app_state --args {app:TextEdit}text_limit返回文本上限默认 500 字符可填max拿完整文本max_tree_nodes/max_tree_depth树节点数默认 1200和深度默认 64上限长网页可加大2. click参数最多、最值得记的一个支持两种定位方式二选一即可元素定位element_index推荐来自无障碍树稳定精确坐标定位x/y截图像素坐标仅当目标无法在树中暴露为元素时使用常用可选参数click_count点击次数默认 1双击填 2mouse_buttonleft默认/right/middleclick_method点击实现方式默认autoclick_method四种取值的适用场景取值说明适用平台auto默认按平台语义自动选择全平台accessibility仅走无障碍动作必须配element_indexmacOSapp_post直接向目标应用投递鼠标事件不动系统指针适合点空白区域macOS、Windowssky_clickmacOS 私有 SkyLight 后台窗口路径不抢焦点、不移动指针仅 macOS示例在 TextEdit 中单击树中第 36 个元素open-computer-use call click --args {app:TextEdit,element_index:36,mouse_button:left}运行时的可视化光标效果与官方体验对齐3. type_text 与 press_key键盘操作双雄# 输入文本 open-computer-use call type_text --args {app:TextEdit,text:Hello, 世界} # 按快捷键语法与 xdotool 一致 open-computer-use call press_key --args {app:TextEdit,key:supera}press_key的key支持单键a、Return、Tab、导航键Up、Down、小键盘KP_0和组合键superc即 Cmd/CtrlC。4. scroll按页滚动支持小数open-computer-use call scroll --args {app:Google Chrome,element_index:12,direction:down,pages:2}directionup/down/left/right四选一pages滚动页数默认 1支持小数如 0.5 即半页5. drag拖拽的安全门机制open-computer-use call drag --args {app:Finder,from_x:100,from_y:200,to_x:400,to_y:300}⚠️新手最常踩的坑默认路径直接把鼠标事件投递给目标应用不会移动系统指针因此无法驱动需要窗口服务器的拖拽会话移动窗口、拖选文本、访达拖放。这类场景需要为服务进程设置环境变量OPEN_COMPUTER_USE_ALLOW_GLOBAL_POINTER_FALLBACKS1让拖拽走全局指针路径此时可能移动真实指针。每次拖拽结果都会明确标注实际走的路径Drag delivered via app_post或... global pointer path不会静默失败。更多说明见 usage.md。6. set_value绕过键鼠的一步到位对可写元素如文本框、滑块直接把值写进去比type_text更快更稳open-computer-use call set_value --args {app:TextEdit,element_index:2,value:Draft}7. perform_secondary_action触发隐藏动作元素在无障碍树中可能暴露次级动作如AXShowMenu、AXConfirm用它直接调用open-computer-use call perform_secondary_action --args {app:Notes,element_index:18,action:AXShowMenu}8. list_apps先问再动无参数返回当前运行中的应用以及近 14 天使用过的应用及频率。拿到应用名后才能正确填写其他工具的app参数。 标准工作流感知 → 操作 → 再感知所有工具串起来就是一个循环list_apps确认目标应用名get_app_state截图 取无障碍树执行动作click/type_text/set_value/scroll/drag/press_key/perform_secondary_action动作工具会自动返回刷新后的应用状态界面发生大变化时再手动补一次get_app_state仓库里提供了一个真实的多工具序列示例get_app_state → set_value → click 交替执行textedit-overlay-seq.json可直接用--calls-file跑起来open-computer-use call --calls-file examples/textedit-overlay-seq.json --sleep 0.5❓ 新手常见问题FAQQ1点错了 / 点了没反应怎么办重新执行get_app_state刷新状态再操作。坐标类操作在界面重排后容易失效能走element_index就别走坐标。Q2长网页内容看不全给get_app_state加参数text_limit: max拿完整文本或把max_tree_nodes提到 3000、max_tree_depth提到 96。Q3Windows / Linux 下某些 click_method 报错sky_click、global仅 macOS 可用app_post在 Linux 上不可用显式指定不支持的方法不会自动降级建议保持默认的auto。各平台差异详见 usage.md。Q4MCP 之外的方式能用吗可以。除 MCP 协议外还提供js/js_reset代码优先接口和ocu js、ocu repl命令行 REPL用 JavaScript 组合动作var app await cua.getApp(TextEdit); await app.typeText(Hello); await app.getAXState();完整 API 说明见 js-repl.md。✅ 总结一张表记住 9 个工具场景首选工具不知道有哪些应用list_apps看屏幕 / 找元素get_app_state点按钮、菜单click优先element_index填表单、写字set_valuetype_text快捷键、回车press_key翻页、浏览长内容scroll拖动元素drag注意全局指针门控元素特殊动作perform_secondary_action把 ToolDefinitions.swift 中的参数定义 本文速查表放在手边基本可以覆盖 90% 的自动化场景。祝你的 AI 智能体早日上手操控电脑【免费下载链接】open-codex-computer-use Open Computer Use – Open-Source Alternative to Codex Computer Use项目地址: https://gitcode.com/gh_mirrors/op/open-codex-computer-use创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Open Computer Use 9 大工具速查表：click、type_text、drag、scroll 参数与用法完整指南
Open Computer Use 9 大工具速查表click、type_text、drag、scroll 参数与用法完整指南【免费下载链接】open-codex-computer-use Open Computer Use – Open-Source Alternative to Codex Computer Use项目地址: https://gitcode.com/gh_mirrors/op/open-codex-computer-useOpen Computer Use 是一款开源的电脑控制Computer Use服务通过 MCP 协议让 AI 智能体像人一样点击、打字、拖拽和滚动你的应用。本文用速查表 参数详解的形式帮你一次性掌握 click、type_text、drag、scroll 等全部 9 大工具的用法快速上手自动化操作。一分钟了解Open Computer Use 是什么open-computer-use是一个开源的Computer Use服务包装为标准MCP服务可运行在macOS、Linux、Windows三大平台。任何支持 MCP 的 AI 客户端如 Codex、Claude Code、Gemini CLI接入后都能获得完整的看屏幕 操作电脑能力。它提供了 9 个原生工具覆盖感知 → 操作的完整闭环list_apps 列出运行中的应用 get_app_state 截图 无障碍树核心感知工具 click 点击元素或坐标 perform_secondary_action 触发元素的次级动作 scroll 按方向、页数滚动 drag 从一点拖拽到另一点 type_text 输入文本 press_key 按键或快捷键组合 set_value 直接设置可写元素的值MCP 服务端暴露的完整工具清单见 usage.md9 个工具的参数定义源码在 ToolDefinitions.swift。最快安装方法一条命令上手npm i -g open-computer-usenpm 包同时提供短别名ocu之后可直接用ocu代替open-computer-use。macOS 用户注意需要 macOS 14.0 或更高版本且首次运行要授予「辅助功能」和「屏幕录制」权限Windows / Linux 无需此步骤。open-computer-use # 或 ocu然后把它安装进你的 AI 客户端open-computer-use install-codex-mcp # 安装到 Codex open-computer-use install-claude-mcp # 安装到 Claude Code open-computer-use install-gemini-mcp # 安装到 Gemini CLI安装完成后AI 智能体即可直接调用下面 9 个工具无需再写代码。 9 大工具速查表工具用途必填参数可选参数只读list_apps列出运行中 近 14 天用过的应用无无✅get_app_state截图 无障碍树感知当前界面apptext_limit、max_tree_nodes、max_tree_depth✅click点击元素或像素坐标appelement_index、x/y、click_count、mouse_button、click_method❌type_text键入一段文本app、text无❌press_key按键或快捷键xdotool 语法app、key无❌scroll滚动元素app、element_index、directionpages❌drag坐标拖拽app、from_x/from_y、to_x/to_y无❌set_value直接设置可写元素的值app、element_index、value无❌perform_secondary_action触发元素次级动作app、element_index、action无❌ 通用规则app填应用名或 bundle id由list_apps返回element_index来自上一次get_app_state返回的无障碍树操作前务必先刷新状态。 高频工具逐个详解1. get_app_state一切操作的起点每个助手回合开始、以及任何界面变化跳转、弹窗、失败之后都要先调用它拿到截图 无障碍树才能决定点哪里open-computer-use call get_app_state --args {app:TextEdit}text_limit返回文本上限默认 500 字符可填max拿完整文本max_tree_nodes/max_tree_depth树节点数默认 1200和深度默认 64上限长网页可加大2. click参数最多、最值得记的一个支持两种定位方式二选一即可元素定位element_index推荐来自无障碍树稳定精确坐标定位x/y截图像素坐标仅当目标无法在树中暴露为元素时使用常用可选参数click_count点击次数默认 1双击填 2mouse_buttonleft默认/right/middleclick_method点击实现方式默认autoclick_method四种取值的适用场景取值说明适用平台auto默认按平台语义自动选择全平台accessibility仅走无障碍动作必须配element_indexmacOSapp_post直接向目标应用投递鼠标事件不动系统指针适合点空白区域macOS、Windowssky_clickmacOS 私有 SkyLight 后台窗口路径不抢焦点、不移动指针仅 macOS示例在 TextEdit 中单击树中第 36 个元素open-computer-use call click --args {app:TextEdit,element_index:36,mouse_button:left}运行时的可视化光标效果与官方体验对齐3. type_text 与 press_key键盘操作双雄# 输入文本 open-computer-use call type_text --args {app:TextEdit,text:Hello, 世界} # 按快捷键语法与 xdotool 一致 open-computer-use call press_key --args {app:TextEdit,key:supera}press_key的key支持单键a、Return、Tab、导航键Up、Down、小键盘KP_0和组合键superc即 Cmd/CtrlC。4. scroll按页滚动支持小数open-computer-use call scroll --args {app:Google Chrome,element_index:12,direction:down,pages:2}directionup/down/left/right四选一pages滚动页数默认 1支持小数如 0.5 即半页5. drag拖拽的安全门机制open-computer-use call drag --args {app:Finder,from_x:100,from_y:200,to_x:400,to_y:300}⚠️新手最常踩的坑默认路径直接把鼠标事件投递给目标应用不会移动系统指针因此无法驱动需要窗口服务器的拖拽会话移动窗口、拖选文本、访达拖放。这类场景需要为服务进程设置环境变量OPEN_COMPUTER_USE_ALLOW_GLOBAL_POINTER_FALLBACKS1让拖拽走全局指针路径此时可能移动真实指针。每次拖拽结果都会明确标注实际走的路径Drag delivered via app_post或... global pointer path不会静默失败。更多说明见 usage.md。6. set_value绕过键鼠的一步到位对可写元素如文本框、滑块直接把值写进去比type_text更快更稳open-computer-use call set_value --args {app:TextEdit,element_index:2,value:Draft}7. perform_secondary_action触发隐藏动作元素在无障碍树中可能暴露次级动作如AXShowMenu、AXConfirm用它直接调用open-computer-use call perform_secondary_action --args {app:Notes,element_index:18,action:AXShowMenu}8. list_apps先问再动无参数返回当前运行中的应用以及近 14 天使用过的应用及频率。拿到应用名后才能正确填写其他工具的app参数。 标准工作流感知 → 操作 → 再感知所有工具串起来就是一个循环list_apps确认目标应用名get_app_state截图 取无障碍树执行动作click/type_text/set_value/scroll/drag/press_key/perform_secondary_action动作工具会自动返回刷新后的应用状态界面发生大变化时再手动补一次get_app_state仓库里提供了一个真实的多工具序列示例get_app_state → set_value → click 交替执行textedit-overlay-seq.json可直接用--calls-file跑起来open-computer-use call --calls-file examples/textedit-overlay-seq.json --sleep 0.5❓ 新手常见问题FAQQ1点错了 / 点了没反应怎么办重新执行get_app_state刷新状态再操作。坐标类操作在界面重排后容易失效能走element_index就别走坐标。Q2长网页内容看不全给get_app_state加参数text_limit: max拿完整文本或把max_tree_nodes提到 3000、max_tree_depth提到 96。Q3Windows / Linux 下某些 click_method 报错sky_click、global仅 macOS 可用app_post在 Linux 上不可用显式指定不支持的方法不会自动降级建议保持默认的auto。各平台差异详见 usage.md。Q4MCP 之外的方式能用吗可以。除 MCP 协议外还提供js/js_reset代码优先接口和ocu js、ocu repl命令行 REPL用 JavaScript 组合动作var app await cua.getApp(TextEdit); await app.typeText(Hello); await app.getAXState();完整 API 说明见 js-repl.md。✅ 总结一张表记住 9 个工具场景首选工具不知道有哪些应用list_apps看屏幕 / 找元素get_app_state点按钮、菜单click优先element_index填表单、写字set_valuetype_text快捷键、回车press_key翻页、浏览长内容scroll拖动元素drag注意全局指针门控元素特殊动作perform_secondary_action把 ToolDefinitions.swift 中的参数定义 本文速查表放在手边基本可以覆盖 90% 的自动化场景。祝你的 AI 智能体早日上手操控电脑【免费下载链接】open-codex-computer-use Open Computer Use – Open-Source Alternative to Codex Computer Use项目地址: https://gitcode.com/gh_mirrors/op/open-codex-computer-use创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考