• 首先用例和需求肯定是要积累成一些文档的, 然后生成 case 的方法论和产品测试要点也要有。 再然后你可以搜一下 harness 的设计方法论, 这个方法论是能让 Agent 稳定高效运行的方法论,按这个思路去设计。如果你觉得 harness 太耗时或者太废 token, 那你也可以单纯遵循 “渐进式披露” 原则, 先写一个生成 case 的 skill 出来试试看。 你可以搜一下我提到的这几个设计方法。

  • 想要 AI 效果好,知识库必须要好好积累。 这个知识库不仅仅是业务功能文档,还有设计测试用例的方法论和你的产品的测试特点。 比如在我们的产品里,如果模型广场里新增了模型,或者动了模型的逻辑。 那需要遍历到整个产品里所有跟模型有关的功能点。 所以在我的知识库里,专门有个文档是记录所有与模型相关的功能点,并在 skill 里告诉大模型,在这种情况下一定要遍历这里的所有模型相关的功能点。 而如果是涉及到前端的逻辑,知识库里也写好了各个模块的前端交互的流程,并且在 skill 里写了工作流, 就是识别到跟前端有关的操作。 要反复向用户确定是否有 figma 的交互稿,如果没有,设计到的输入框是否有字符数的限制等问题。

    同一个模型, 不同的人用的效果天差地别,就在于使用的 “人” 是否有耐心,愿意去学习如何跟 AI 打交道。

  • 开发人员用 AI 编写代码带来的最大的问题就是质量会更差。起码现阶段是这样的,很多开发同学还不得的用 Harness 的理念去设计 Agent,所以导致出错的概率比较大。所以呢,我们为了解决这个问题需要利用 AI 来去快速地生成大量的自动化测试用例。我们现在公有云的门禁的运行时间,就需要跑 5 个小时了。这是大量的自动化测试用例积累的结果。基本上这个门禁能跑下来。产品的质量问题就不会很大了。

  • 有些时候,一些不起眼的地方,提升起效率来也挺夸张的。你比如说测试用例的编写,用传统的方式去写测试用例,花的时间很长。我们假设要编写 100 条测试用例。如果说要编写的相对比较详细一些,那么这 100 条测试用例的编写工作可能就会耗费一天时间,甚至更长。但用 AI 来去写的话,可能就是 10 分钟之内的事情。即便说你没有很好的知识库,让它自动探索出很好的用例。但我们就用人力来去编写测试点,然后让 AI 去生成更详细的步骤。这也是效率的一个很大的提升。

  • 我比较赞同这位兄弟的看法,我们目前也是一使用 AI 快速搭建接口和 UI 的自动化。同时使用 AI 来完成各种专项,比如容灾测试、性能测试。还有一些其他的提升效率的比较散的地方。比如利用 AI 的总结能力去快速地理解需求文档,利用 AI 的能力快速完成一个调研行动。很多时候,来了一个任务没有什么特别好的思路,问问 AI 可能很快就能够把这个任务完成。我这里的更多的呢是在接到一些新的需求的时候,里面会涉及到一些我不懂的知识。尤其我在做这种技术型产品的时候,经常会遇到这种问题。用 AI 呢,我就能很快地去学习了解这方面的知识,并且拿到一个很好的解决方案来进行测试。 总结一下,就是多利用 AI 的能力来寻找方案。

  • AI 定位控件的时候,可以开缓存, 缓存存在本地。 只要定位过一次, 下一次就不用 AI 了。 也可以先用 css 定位再用 AI 兜底。 至于用 AI 去编写 case 的成本。 可以用差一点的模型, 或者精简一下 skill。

  • 就写 sql 执行就好了, AI 是用来写 case 和定位控件的

  • 多谢提醒

  • 不好意思, 刚看到。 如果有很完善的设计稿, 其实是可以测试左移, 在没提前就写好 case 的,因为我们的控件定位现在都是用自然语言描述的了。 但这太要求设计稿的完善和开发团队严格按照设计稿开发的规范。

  • 数据初始化? 是什么数据哈,我没太 get 到你的点