上篇带大家 30 分钟部署好了 Hermes Agent 并绑定了飞书。这篇直接进实战,看看它能不能真的替我做 UI 自动化测试。
回顾上篇
在上一篇测试人30分钟上手Hermes Agent:可自我进化的AI助理,测试场景实操全指南中,我们一起完成了三件事:
- 搞清楚了 Hermes Agent 是什么 。一个能自我进化、拥有持久记忆的开源 AI 智能体
- 在腾讯云上部署并跑了起来。 从选购服务器到飞书对接,全程手把手
- 初步体验了它的能力。跨会话记忆、自动写技能、飞书内直接对话
上篇末尾我放了一张登录页面自动化测试报告的截图,当时说”下一篇详细拆解”,现在就是兑现的时候。
今天这篇,我会完整演示:如何用 Hermes Agent 对一个真实页面做 UI 自动化测试,并自动生成一份专业的 HTML 测试报告。全程不需要写一行代码。
PART 01
为什么选择 UI 自动化测试作为实战场景
做测试的都知道,UI 自动化测试是最”痛”的:
痛点一:脚本写起来费劲
元素定位、等待策略、异常处理……写 Selenium/Playwright 脚本,一个登录页面可能就要几十行代码。页面一改,定位器全废,重新来过。
痛点二:用例设计靠经验
边界值、异常值、组合场景……全靠测试工程师的脑力储备。经验丰富的老师傅能想到,新人容易遗漏。
痛点三:报告整理是体力活
每次测试完要整理截图、写结果、归档。比测试本身还枯燥,但不做又不行。
这三个痛点,恰好对应 Hermes Agent 的三个核心能力:自动执行、智能生成、自动归档。
所以,UI 自动化测试是验证 Hermes Agent 实战价值的最佳场景。
PART 02
实战准备
测试对象
我选择了 Swag Labs 登录页面(https://www.saucedemo.com)作为测试对象。
理由很简单:
- 公开的 Demo 站点,任何人都能访问
- 登录功能是所有系统的基础模块,大家都能理解
- 包含正常流程和异常校验,场景足够丰富
测试目标
覆盖登录功能的核心场景:
| 场景类型 | 说明 |
|---|---|
| 正常登录 | 使用正确账号密码,验证能否成功进入系统 |
| 密码错误 | 正确用户名 + 错误密码,验证错误提示 |
| 用户不存在 | 不存在的用户名 + 任意密码,验证系统响应 |
| 空用户名 | 用户名为空,验证前端校验 |
| 空密码 | 密码为空,验证前端校验 |
前置条件
- Hermes Agent 已部署并正常运行(上篇已完成)
- 飞书对接完成,可以在飞书中直接对话
PART 03
三步完成 UI 自动化测试
第一步:在飞书中下达测试指令
打开飞书,找到我们上篇创建的智能助手(比如叫”Jasmine小助理”),直接用自然语言发送测试需求:
“帮我测试 Swag Labs 的登录页面,地址是 https://www.saucedemo.com。需要覆盖正常登录、密码错误、用户不存在、空用户名、空密码这几个场景。”
就这么一句话。
不需要写测试脚本,不需要告诉它用什么定位器,不需要指定断言规则。
Hermes 会自动理解需求、分析页面结构、设计测试用例、执行测试并生成报告。
第二步:Hermes 自动执行测试
Hermes 收到指令后,会自动完成以下工作:
1. 页面分析与用例设计
它先访问目标页面,分析页面结构(输入框、按钮、提示信息等),然后根据我描述的测试场景,自动生成完整的测试用例:
| 用例编号 | 测试标题 | 测试描述 |
|---|---|---|
| TC001 | 正常登录 | 使用有效的用户名和密码登录 |
| TC002 | 密码错误 | 使用有效的用户名和错误的密码登录 |
| TC003 | 用户名不存在 | 使用不存在的用户名和有效密码登录 |
| TC004 | 空用户名 | 用户名为空,密码有效 |
| TC005 | 空密码 | 用户名有效,密码为空 |
这个过程和测试工程师手动设计用例的思路是一致的—等价类划分、边界值分析,只不过 Hermes 在几秒钟内就完成了。
2. 逐条执行测试用例
对每条用例,Hermes 会:
- 打开登录页面
- 按用例要求输入测试数据
- 点击登录按钮
- 判断执行结果是否符合预期
- 自动截图留证
3. 智能结果判断
Hermes 的判断不是简单的”页面有没有某个元素”,而是基于语义理解业务逻辑:
- 正常登录 → 验证是否成功跳转到商品列表页
- 密码错误 → 验证是否出现”用户名和密码不匹配”的提示信息
- 空用户名 → 验证是否提示”用户名必填”
这种判断方式更接近真实测试人员的思维方式。
第三步:查看测试报告
测试执行完成后,Hermes 会自动生成一份完整的 HTML 格式测试报告,包含:
- 测试汇总数据(总用例数、通过数、失败数、通过率)
- 每条用例的详细执行记录
- 执行截图
- 时间戳
测试报告展示
以下是我这次实测的完整结果:
5 条用例全部通过,覆盖了正常流程和四种异常场景。
用例执行详情
每条用例都附带了执行截图,报告中点击即可查看,方便排查问题或向开发反馈。
效率对比:传统方式 vs Hermes Agent
我用同一个登录页面做了一个简单的时间对比:
| 环节 | Selenium | Hermes Agent |
|---|---|---|
| 用例设计 | 30-45分钟 | AI 自动生成,< 1分钟 |
| 脚本编写 | 45-60分钟 | 不需要写脚本 |
| 调试运行 | 20-30分钟 | AI 自动执行,约5分钟 |
| 报告整理 | 15-20分钟 | AI 自动生成,即时输出 |
| 合计 | 约 2 小时 | 约 10 分钟 |
效率提升接近 12 倍。当然,这只是登录页面的简单场景,复杂项目的时间差距会更大,因为传统方式的脚本维护成本会指数级增长。
PART 04
更深层的变化:不只是快
1. 测试门槛降低了
以前做 UI 自动化,需要会 Python 或 Java,要懂 Selenium/Playwright,要会写定位器……现在只需要会说清楚”我要测什么”。
这对测试团队来说意味着什么?那些不写代码的测试人员,也能独立完成自动化测试了。
2. 用例设计更全面
人工设计用例容易遗漏边界场景,尤其是对新人来说。Hermes 基于等价类划分自动生成的用例,覆盖了空值、错误值、不存在值等边界情况,比很多人手工设计的还全面。
3. 维护成本趋近于零
传统 UI 自动化最大的痛点是维护。页面改了一个按钮的 ID,几十个脚本可能都要改。Hermes 基于语义理解和页面结构分析,不依赖固定的元素定位器,页面小幅变动不会导致测试失败。
4. 报告直接可用
生成的 HTML 报告可以直接发给开发、产品经理,或者归档到测试文档库。截图、状态、描述、时间戳全都有,不需要二次整理。
PART 05
适用场景与局限性
这些场景推荐用
- 快速冒烟测试 :每日构建后验证核心流程是否正常
- 回归测试 : 版本迭代时快速验证已有功能
- 测试用例生成 :根据需求文档快速生成用例思路
- 非核心页面的自动化覆盖 :不值得投入大量维护成本的页面
这些场景还需要人
- 复杂业务流程 : 涉及多步骤、多页面、动态数据的场景,AI 还需要更详细的引导
- 特殊交互 : 拖拽、文件上传、Canvas 绘制、iframe 嵌套等
- 视觉回归 :UI 样式、布局的像素级比对,目前不是 Hermes 的强项
- 需要精确控制的场景 :对时序、并发有严格要求的测试
PART 06
总结
上篇带大家完成了 Hermes Agent 的部署和飞书对接,这篇我们用登录页面做了一个完整的 UI 自动化测试实战。从”发一句话”到”拿到测试报告”,全程不到 10 分钟,5 条用例全部通过。
UI 自动化测试在测试行业讨论了十几年,从 Selenium 到 Appium 到 Playwright,工具越来越强,但”写脚本、维护脚本”这个门槛一直没降下来。现在 Hermes Agent 提供了一条不同的路径:不需要写脚本,直接用自然语言驱动测试。
这不是说传统的 UI 自动化会被取代。对于稳定、大型、长期维护的项目,Selenium/Playwright + CI/CD 依然是更成熟的方案。但对于中小团队、快速迭代的项目、或者那些”想做自动化但一直没时间搞”的场景,Hermes Agent 提供了一个门槛极低、见效极快的选项。
两篇文章,从部署到实战,Hermes Agent 的核心价值已经验证完了。后续如果你感兴趣,我还可以继续拆解它在接口测试、用例生成、Bug 单辅助、测试数据构造等更多场景的实操。
辛苦看到这里的同学,如果觉得有帮助,记得点赞 + 关注不迷路!有问题欢迎在评论区留言交流,也可以加讨论群一起探索 Hermes Agent 的更多玩法。
下一篇,我们继续解锁 Hermes Agent 在测试工作中的新场景,敬请期待!
专题讨论群,添加微信:
声明:来自AI应用案例库,仅代表创作者观点。链接:https://eyangzhen.com/8009.html