V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
cqcn1991
V2EX  ›  分享创造

怎样衡量你的产品? —— 一点产品数据分析的经验分享

  •  
  •   cqcn1991 ·
    cqcn1991 · 2017-09-05 12:13:42 +08:00 · 3041 次点击
    这是一个创建于 2637 天前的主题,其中的信息可能已经有所发展或是发生改变。

    不知道这边做 product analytics 的同学多不多,最近总结了之前数据分析的经验,但感觉写得很水。。。。希望这里的朋友可以指点一下。。。。


    目标读者:涉及产品数据的新人( PM、数据分析师、产品运营)

    对于涉及产品数据的新人( PM、数据分析师、产品运营),常有这样的问题

    • 怎么使用 Mixpanel/神策 /GrowingIO 等数据分析工具?

    • 怎么定义产品的指标 (metrics),并进一步进行分析?

    所以,我们以自己的产品文图 ( http://wentu.io/) 为例,分享一下相关的经验、思考,希望能对大家有所帮助。

    1. 产品与 Metrics 定义

    (1) 文图是什么?

    文图是一款用来做数据报告的产品

    1-1.jpg

    比如,你写了一篇数据分析报告,然后希望看起来比较专业(排版、颜色),那么可以用文图,因为有设计好的样式。另一方面,也有富交互的数据体验,图表、表格中的数据都是可交互的。

    (2) 怎么定义产品指标(metrics)?

    最常用的是 AARRR 模型 [1]

    1-2.jpg

    其核心是留存 /活跃用户,也就是希望用户能再次访问( e.g. 微信, 微博)

    然而,AARRR 并不适合所有产品

    一个简单的例子是,Airbnb 的留存肯定也很低,因为没有人会每天去订房间。文图也是类似,没有人会每天去写报告,可能一个月一篇就不错了。因此,短期留存的意义不大, 留存 /活跃用户更大程度上是产品好坏的最终反应,而非直接需要提升的指标。

    所以,我们用 HEART 模型来定义 metrics [2]

    1-3.jpg

    具体而言,是从产品本身的目的入手,更为本质。

    文图的核心功能是文档制作,因此核心指标定义成制作文档的数量。同样的, airbnb 的核心指标之一是订床的数量, 而不是每天的活跃用户有多少。

    不过,这只是从 “制作者” 的角度出发。对于运营人员、analyst 等制作者来说来说, 他们最终的目的是希望 “读者” 能方便的阅读文档,了解数据和分析结果,因而文图才会有移动端阅读、多文档合并等功能。而且制作者和读者本身的审美也不一致,只有保证读者满意,制作者才会长期的使用下去。不过遗憾的是,这方面的很难有较好的指标进行衡量。

    总的 metrics 包括

    (1) 基本状况

    • 注册用户数

    • 活跃用户数

    (2) 业务指标

    • 文档制作者: 创建文档 -> 编辑文档 -> 发布、下载

    • 文档读者: 暂缺.

    (2) 增长指标

    • aquisition 转化率: 访问 -> 注册按钮-> 注册成功

    • activiation 转化率: 注册成功 -> 创建文档 -> 编辑文档

    2. 实现

    设计好了 metrics,怎么具体得到这些数据呢?

    我们用神策(类似 Mixpanel, 高级版的 Google Analytics ),包括基本的 dashboard 和更复杂的事件分析

    2-1.jpg

    上图是我们的 dashboard, 包括注册用户、文档创建等指标,每天用来了解产品的基本使用情况。

    在代码实现上,用户做了相应的操作,就用 js 把相应的数据传输到后台进行记录(埋点),之后就可以用神策进行分析了。

    可以用神策来做一些基本的分析,比如

    • 文档完成漏斗

    可以用漏斗模型看文档制作中各个步骤的转化率(创建 -> 编辑 -> 下载 /发布)

    2-2.jpg

    而完成文档的用户数,就是我们产品的核心用户群

    2-3.jpg

    这个也放在了 dashboard 中,可以看到,每周都会有 100-200 名用户在文图上完成了文档制作

    • 注册成功 /失败比例

    对用户注册的行为做了记录(分成成功和失败),就能看到产品注册成功 /失败的曲线

    2-4.jpg

    • 文档类型比例

    文图的文档有多种类型,包括单页-PPT-打印文档 3 种,这 3 种各占比例多少呢?就我们内部使用而言,其实大部分都是使用单页文档。但从实际用户的使用数据中,发现创建 PPT 比我们预想的多多了

    2-5.jpg

    3. 案例:怎么衡量模板的好坏?

    文图的核心功能之一,是用户可以使用模板(下图)创建文档。这些模板都是经过设计的,比单纯的 Excel + Word 来的要更好看。但是,我们自己对模板的设计并不满意,觉得一些模板并不好看,而且,也常有用户说某个模板颜色对比不够等等

    3-1.jpg

    怎么分析这个问题?

    可以从文档完成率考虑 —— 用户创建文档后,经过一系列的操作,最终完成文档(发布、下载)。期间,有没有可能因为模板的不足( e.g. 颜色对比不够),而放弃呢?

    各模板的创建量、完成量和完成率(完成率=完成量 /创建量)如下

    3-2.jpg

    可以看到

    • 默认模板(blue)创建量明显高于其他模板,说明数据基本准确

    • 完成率和创建量相当不同,创建最多的并不是完成率最高的,而一些小众模板( pure )的完成率不错,说明计算基本上有效。而且这个顺序和我们主观的感知也大致相符。

    仔细观察完成率最后几位 (my_red, my_blue, my_green),可以发现一个共同点,都带有 header. 这和部分用户的反馈相同,“自己写了个文档,结果头上顶个别人家的 header, 心里不是滋味 ”

    3-3.jpg

    而很有意思的是,blue 和 my_blue 的关系,

    3-4.jpg

    这两个模板大体相同,只是后者带了 header,而完成率就有了一定的区别。考虑到 blue 作为默认的模板本身会有大量的试用,其实际完成率要更高, 因此可以说,单单加上这个 header,文档的完成率就会往下掉 15% (17% -> 14%) 。而移除掉这些 header, 文档完成的数量就能有提升。

    排在前面的模板,也是实际反馈中比较受欢迎的模板

    总之,通过完成率,可以发现模板设计的好坏对文档完成有较大影响。假如把所有模板的设计水平都提升到第一的水准( 17% -> 25%),是接近 50%的提升。于是,把这些分析结果告诉设计师,他们也就更有动力做之后的改进了,而不是简简单单的说“把模板设计更好看一点”。

    3-5.jpg

    4. 增长的问题

    仔细观察 dashboard,会发现更深层次的问题

    4-1.jpg

    • 注册量: 始终不变. 意味着自然流量来源没有增加,也就是说没有任何人为我们自发宣传,没有口碑传播

    • 文档创建量: 始终不变,意味着活跃用户没有增长, 否则应该逐渐积累并增加. 意味着大量的用户流失, 没有继续使用

    简单来说,产品没有明显的增长,尽管这一年更新了许多功能 ,尽管每周会有 100-200 名用户在文图上完成文档制作(此处应有心碎的声音)

    为什么会这样?

    可能原因之一,是文图本身的特性所致。

    4-2.jpg

    像上图,是典型用户的行为次数统计,可以看到 4-5 月第一次使用,再次使用就是 8 月了,而下次使用呢?这是我们的用户,但他的留存效果并不明显。Airbnb 也是类似,其留存是按年计算的 [3]。

    那到底怎么分析呢?

    数据分析师同学们这时可能已经摩拳擦掌,想好了很多个模型怎么研究了。。。。。但更好的方法是直接找到用户,问他们为什么继续使用 /放弃使用,也就是用户访谈。可以分群体访谈,比如

    • 流失用户:3 个月前注册并完成文档的用户,但之后没有再使用的。为什么没有再使用?是使用效果不满意,还是行为本身低频?

    • 留存用户:本月完成文档,但是在 3 个月之前注册的老用户。为什么持续使用?他们用来做什么?有没有可能找到更多类似的用户?他们是从哪里得知文图的?

    • 尝试但是未完成文档的用户:本月注册成功,并尝试使用(编辑文档 5 次以上),但最终没有完成文档的。产品在哪些方面有问题,最终没有完成文档?

    具体可以用神策查询出符合条件的用户,然后进行回访。

    5. 总结

    这里,我们以自己的产品文图为例介绍了产品数据分析的一些基本的内容,包括

    • 怎样设定合理的 metrics (HEART),而不仅仅是从活跃用户数的角度去考虑
    • 怎样运用 metrics 分析 (模板完成率的分析,实质是定量分析)
    • 怎样不用 metrics 做分析(用户访谈,实质是定性分析)

    不过,为什么要用 product analytics (i.e. metrics)?

    各种文章总能罗列出各种各样的理由,但大多数人只是看到了别人在用,所以也要用。我觉得,其实是为了回答这个问题 —— 在开发了一个功能之后,效果如何?

    这个其实想展开来讲,但感觉又挺啰嗦,那就先说到这里吧。


    [1] AARRR, http://500hats.typepad.com/500blogs/2007/09/startup-metrics.html

    [2] HEART, https://library.gv.com/how-to-choose-the-right-ux-metrics-for-your-product-5f46359ab5be

    [3] Airbnb, http://blog.ycombinator.com/growth-guide2017/

    6 条回复    2017-09-07 09:36:37 +08:00
    psnail
        1
    psnail  
       2017-09-05 15:22:19 +08:00
    赞,从实际业务特点出发,进行相关目标设定和分析,另,神策 和 growingio 功能确实强大
    WhyLiam
        2
    WhyLiam  
       2017-09-05 16:48:18 +08:00
    是图片全没了吗?
    cqcn1991
        3
    cqcn1991  
    OP
       2017-09-05 16:51:59 +08:00
    @WhyLiam 我这都还在,如果你那看不到,https://www.douban.com/note/635605361/ 这里应该图片是有的
    qianmaole
        4
    qianmaole  
       2017-09-07 07:50:07 +08:00
    楼主找到工作了吗
    cqcn1991
        5
    cqcn1991  
    OP
       2017-09-07 09:36:01 +08:00 via iPhone
    @qianmaole 正在找,不过没有什么合适的…
    cqcn1991
        6
    cqcn1991  
    OP
       2017-09-07 09:36:37 +08:00 via iPhone
    @qianmaole 不过你怎么知道我在找工作…
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2615 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 04:50 · PVG 12:50 · LAX 20:50 · JFK 23:50
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.