一、 Midscene.js安装配置初体验先让程序运行起来安装配置篇请直接参考之前的文章Midscene.js - AI驱动带来全新UI自动化体验安装配置篇官网介绍很详细https://midscenejs.com/zh/introduction有需要了解更多的直接参考官网介绍安装配置后我们通过谷歌浏览的插件快速体验Midscene.js的功能二 、通过 Chrome 插件快速体验1、下载插件因为在国内无法访问谷歌商店我们直接在官网提供的下载地址下载插件下载地址https://github.com/web-infra-dev/midscene/releases打开后我们直接下载最新的插件midscene-extension-v1.0.3.zip下载后解压下。2、谷歌浏览器导入插件打开安装好的谷歌浏览器按照如下方式打开扩展程序管理然后点击‘’加载未打包的扩展程序‘’选择上面解压的插件目录选择好后就成功加载了插件3、查看插件点击谷歌浏览器的如下位置单击插件会出现如下图所示的插件页面4、配置插件配置调用大模型的url和APIKEY等信息 下面以通义千问的大模型配置举例OPENAI_BASE_URLhttps://dashscope.aliyuncs.com/compatible-mode/v1 OPENAI_API_KEY替换为自己的APIKEY MIDSCENE_USE_QWEN_VL1 MIDSCENE_MODEL_NAMEqwen-vl-max-latest在设置里配置大模型参数后点击Save保存配置。5、使用插件参见官网使用说明官网介绍了插件Act、Query、Assert、Tap的使用介绍和一些案例。使用的时候我们先打开某个web的url地址然后再右下角输入自然语言通过大模型的调用和解析完成我们的指令。举例打开铜钟音乐网https://tonzhon.com/搜索周杰伦的音乐并让它自动点击播放按钮。1在Act中输入我的指令点击歌曲搜索搜索周杰伦搜索出结果后鼠标悬浮在第1首歌出现播放按钮后点击播放按钮播放音乐点击Run按钮运行指令运行成功后我们可以点击如下位置下载html报告和导出视频。这是html报告的页面因为是自然语言交互即使不懂代码也能轻松的使用通过大模型解析极大的提升了效率。大家不妨试试这个很好用的AI工具