如何利用大模型增加测试范围及能力

[Jason168]

求助各位大佬，如何用大模型增加测试范围，如接口测试用例，但是大模型又肯定必须懂业务逻辑。

不知道如何开始。

[foolishcrab]

最近火的是 llm 驱动 e2e 测试，比如 computer use, browser use ，微软的 omniparser 你都可以了解下。

至于 ai 驱动传统测试工具，我本人一整个很大的团队尝试过了，效果不好，具体不展开了。
总的来说传统测试作为最后一道人力把关，引入 ai 不是一个合适的点位。我们当时也是被什么知识库，自动化提效啦吸引了，看起来很合适 llm 发挥的，但是实际上效果真的不好。
但是 e2e 的话，我看有戏

[musi]

@foolishcrab e2e 也不一定，测试的首要前提是了解业务，而不是程序不报错就行了，就现在的 LLM 而言，公司有没有一个完整的业务描述文档是一个问题，怎样把这个文档喂给测试又是一个难题

[foolishcrab]

@musi e2e 的点就在于模拟最终用户啊，你还在纠结业务领域知识这个点。
让大模型通过 rag 啥的一系列方法，伪装成业务专家，再去产出什么呢？再去写你们传统测试工具的用例？再让它去解析传统测试的错误？只要底层还在利用传统测试工具，它的价值就不大，因为在这个位置你需要的是 100% 的放心，而不是不稳定不确定的大模型判断。

我的意思是我们尝试过这条路走不下去，但是终归也只是尝试，或许你们能成功。

[yh7gdiaYW]

@foolishcrab 你这不就是用成了 AI 版的 monkey 了吗，只能做做稳定性测试，楼上说的是怎么用这个做功能测试的 UI 自动化

[liulicaixiao]

能举一个比较具体点的问题吗