V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
hackingwu
V2EX  ›  程序员

我在开发一个自动化测试平台,怎么证明我的自动化测试平台提效了呢?

  •  
  •   hackingwu ·
    hackingwu · 2022-01-24 11:16:09 +08:00 · 3213 次点击
    这是一个创建于 1018 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我在开发一个自动化测试平台,怎么证明我的自动化测试平台提效了呢?并计算出我们提效了多少呢? 如果我们看测试周期,可是即使周期变短了,也可能是他们熟练度提高,服务端质量提高了。 那要怎么证明是我们平台做了提效呢?并能有量化的数据。

    23 条回复    2022-01-27 11:44:35 +08:00
    chtcrack
        1
    chtcrack  
       2022-01-24 11:19:05 +08:00   ❤️ 1
    那得老板懂得看代码,否则就是对牛弹琴,无任何意义.
    现在有很多私人老板完全不懂程序代码,属于外行管内行,碰上这种,你就当你自己做贡献,别想那么多了,最多提一句,别指望不懂程序的老板懂这个.
    dilu
        2
    dilu  
       2022-01-24 11:20:18 +08:00
    1. bug 率 例如以 1 个月为周期,用你的平台前 1 个月和后一个月 bug 率 即总 bug 数 /(需求*人日)
    2. 历史 case 回归时长占比,调研所有测试 case 中回归逻辑占比,时间同上
    3. 同样的时间周期,测试时间占比整个项目立项周期 看看是不是变短了
    micean
        3
    micean  
       2022-01-24 11:21:34 +08:00
    熟练度再高也比不过机器啊
    量化指标的话,综合测试用例总数和平均时间?
    geeksammao
        4
    geeksammao  
       2022-01-24 11:25:54 +08:00
    如果你是靠这个平台来作为业绩,那主要就是考验你的汇报、pr 能力了,即使是“他们熟练度提高”了你也要主动忽略掉再用话术包装成是你的平台的功劳。
    因为效率这种东西很多时候就不是能特别量化清楚并归因的指标,只要东西能做到 70 、80 分,剩下的就靠宣传和包装了。
    Renzo
        5
    Renzo  
       2022-01-24 11:59:44 +08:00
    感觉一个新的工具上线在短期内一定会让效率下降才对,长期才会让效率上升。还是着重于画饼汇报吧。。。
    otakustay
        6
    otakustay  
       2022-01-24 12:01:20 +08:00
    我们有一个指标,需求开发完成(待测试)到最终上线的时长,自动测试化应该能很大程度上缩短这个时间,这个短绝对不是人靠熟练能做到的,不然自动化干啥
    msg7086
        7
    msg7086  
       2022-01-24 12:21:46 +08:00
    主要就是 Story 完成时间和 Story 上线后的 bug 率。
    有良好自动化测试覆盖的程序上线以后出 Bug 的概率应该会很小,而且不需要很多人工去手动测试和反馈。
    jones2000
        8
    jones2000  
       2022-01-24 13:25:00 +08:00
    开源你的自动化测试平台, 如果用的人多说明确实可以提效, 如果没人用,基本就是再自嗨。
    hackingwu
        9
    hackingwu  
    OP
       2022-01-24 14:08:18 +08:00
    @Renzo 或者后续有哪些指标可以佐证。因为还需要采集数据。
    hackingwu
        10
    hackingwu  
    OP
       2022-01-24 14:08:58 +08:00
    @jones2000 公司内部平台, 会有人用。但是用完提效如何,我们要有数据支撑的。
    hackingwu
        11
    hackingwu  
    OP
       2022-01-24 14:09:32 +08:00
    @msg7086 是,但是怎么证明是我们平台起了效果呢?
    hackingwu
        12
    hackingwu  
    OP
       2022-01-24 14:10:36 +08:00
    @geeksammao 老板想看数据, 提质增效的数据证明。
    hackingwu
        13
    hackingwu  
    OP
       2022-01-24 14:10:57 +08:00
    @micean 平均时间指的是?
    hackingwu
        14
    hackingwu  
    OP
       2022-01-24 14:12:14 +08:00
    @dilu 好的,谢谢。
    micean
        15
    micean  
       2022-01-24 14:20:52 +08:00
    @hackingwu

    一个迭代里,测试的累计工时 /测试用例的数量
    jones2000
        16
    jones2000  
       2022-01-24 14:26:28 +08:00
    @hackingwu 每天的常规测试,晚上编译最新版本自动跑完所有的 test case, 发测试报告。 把每天的报告统计下就可以做很多报告了,
    如开发人员代码质量, 通过统计每天常规测试通过率。
    如测试代码覆盖率, 通过统计每天的测试代码覆盖率,可以知道测试部门测试用例是否可以跟上开发进度
    .......
    有用的东西都是要得罪人,如果没有相应的规章或(老板支持)基本是做不下去的。
    c8c
        17
    c8c  
       2022-01-24 15:50:46 +08:00
    既然是自动化测试,那么测试执行时间肯定是要大大缩短了啊。譬如同样 100 个 测试用例,手动跑需要一个星期,用自动化测试 3 天就好了。

    这不就是提高么?
    nullboy
        18
    nullboy  
       2022-01-24 17:56:10 +08:00
    自动化测试平台 == 没卵用
    nanlou
        19
    nanlou  
       2022-01-24 18:17:12 +08:00
    线下问题拦截率,线上问题拦截率,线上召回数量,人效,ROI 计算 blabla 一大堆指标...
    SmiteChow
        20
    SmiteChow  
       2022-01-25 09:57:12 +08:00
    证明不了
    SmiteChow
        21
    SmiteChow  
       2022-01-25 09:58:05 +08:00
    因为你没有原始数据
    flyingghost
        22
    flyingghost  
       2022-01-25 15:09:05 +08:00
    自动化 = 可重复。
    例如每次发布 /每次代码变更 /每次提交,都要跑一次核心用例回归。
    以前:一次回归人时数 * 每月总次数 = 人月数。
    现在:0

    老板,我帮你省了 n 个测试人力!
    hackingwu
        23
    hackingwu  
    OP
       2022-01-27 11:44:35 +08:00
    @dilu bug 率统计的是线上 bug 率吗
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5607 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 03:14 · PVG 11:14 · LAX 19:14 · JFK 22:14
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.