Midscene.js让 AI 替你点鼠标、拖窗口、跑全流程【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midsceneMidscene.js 是一个视觉驱动的 GUI 自动化测试框架用自然语言就能操作网页、Android、iOS 和桌面应用。还在为写选择器到头秃、页面一改版测试脚本就整批报废而头疼它让你彻底告别选择器——读完这篇你能 5 分钟跑通第一条 AI 视觉自动化测试用例全程不用写一个选择器。它到底在解决什么问题传统 E2E 测试靠选择器和 DOM 树定位元素按钮没加 id 就抓瞎页面换个布局几百行脚本跟着陪葬画布渲染的内容更是完全够不着。Midscene.js 的思路反过来——像人一样看屏幕你描述点搜索按钮它看截图找位置、动手、再核对结果。页面怎么改都无所谓只要界面上看得见它就能点、能输、能断言。这也是 AI 视觉自动化测试 入门里少见的零代码起点先在 Playground 里试指令验证通过再搬进脚本。先装上后面 5 分钟就能看见效果。从零跑通第一条用例先定个小场景验证打开购物网站输入搜索词并点击搜索这条流程能走通。把仓库拉下来装好依赖git clone https://gitcode.com/GitHub_Trending/mid/midscene cd midscene pnpm install接着把大模型配置成环境变量拿个豆包或千问的 API Key 即可export MIDSCENE_MODEL_API_KEY你的Key export MIDSCENE_MODEL_NAMEdoubao-seed-2-1-turbo-260628 export MIDSCENE_MODEL_FAMILYdoubao-seed然后启动 Web 端的 Playground打开它给的本地地址。在输入框里敲一句在搜索框输入耳机并点击搜索你会发现 AI 真的在页面上定位、点击、返回结果每一步的截图和判断过程都摆在左边栏里。同一套流程换成手机也一样Android 开 USB 调试连上即可被自动识别。60 秒讲透核心机制那它到底怎么看见按钮的说白了就是给 AI 发一张截图加一句帮我点红色的提交按钮多模态大模型在图里圈出目标位置框架把圈出来的坐标换算成真实点击再截一张新图确认点成功了。没有 DOM、没有选择器看得见就点得着——所以画布、跨域 iframe、没加 id 的图标按钮都不在话下。上手之后你会用到的 3 个配置项MIDSCENE_MODEL_API_KEY / MIDSCENE_MODEL_NAME——决定 AI 用哪家大模型干活第一次配置必填示例见上面那段环境变量。MIDSCENE_MODEL_FAMILY——模型系列如doubao-seed、qwen-vlMidscene 会按系列微调提示词换模型时最常踩的坑就是漏改它。MIDSCENE_USE_CACHED_MODEL——重复流程开启缓存同一页面的相同定位直接复用结果能把跑回归测试的 token 花销降一大截。别急着配那一堆参数先把默认跑起来再说。翻车了先查这三处元素没点中提示定位失败通常是提示词写得太笼统点那个按钮或页面还没加载完把指令改具体比如点击导航栏右侧的蓝色登录按钮。AI 响应特别慢换一个响应更快的多模态模型或者打开上文提到的缓存开关调试阶段用小模型正式跑回归再换大模型。设备识别不到Android 端九成是 USB 调试没开或数据线只传电不传数据换根线确认设备上有授权弹窗点一次允许。下一步想用一个脚本同时指挥浏览器和手机看 桥接模式文档再进 快速开始页面 把 Playground 里验证过的指令搬进自动化代码里。【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考