不知道这边做 product analytics 的同学多不多,最近总结了之前数据分析的经验,但感觉写得很水。。。。希望这里的朋友可以指点一下。。。。
目标读者:涉及产品数据的新人( PM、数据分析师、产品运营)
对于涉及产品数据的新人( PM、数据分析师、产品运营),常有这样的问题
怎么使用 Mixpanel/神策 /GrowingIO 等数据分析工具?
怎么定义产品的指标 (metrics),并进一步进行分析?
所以,我们以自己的产品文图 ( http://wentu.io/) 为例,分享一下相关的经验、思考,希望能对大家有所帮助。
文图是一款用来做数据报告的产品
比如,你写了一篇数据分析报告,然后希望看起来比较专业(排版、颜色),那么可以用文图,因为有设计好的样式。另一方面,也有富交互的数据体验,图表、表格中的数据都是可交互的。
最常用的是 AARRR 模型 [1]
其核心是留存 /活跃用户,也就是希望用户能再次访问( e.g. 微信, 微博)
然而,AARRR 并不适合所有产品
一个简单的例子是,Airbnb 的留存肯定也很低,因为没有人会每天去订房间。文图也是类似,没有人会每天去写报告,可能一个月一篇就不错了。因此,短期留存的意义不大, 留存 /活跃用户更大程度上是产品好坏的最终反应,而非直接需要提升的指标。
所以,我们用 HEART 模型来定义 metrics [2]
具体而言,是从产品本身的目的入手,更为本质。
文图的核心功能是文档制作,因此核心指标定义成制作文档的数量。同样的, airbnb 的核心指标之一是订床的数量, 而不是每天的活跃用户有多少。
不过,这只是从 “制作者” 的角度出发。对于运营人员、analyst 等制作者来说来说, 他们最终的目的是希望 “读者” 能方便的阅读文档,了解数据和分析结果,因而文图才会有移动端阅读、多文档合并等功能。而且制作者和读者本身的审美也不一致,只有保证读者满意,制作者才会长期的使用下去。不过遗憾的是,这方面的很难有较好的指标进行衡量。
总的 metrics 包括
(1) 基本状况
注册用户数
活跃用户数
(2) 业务指标
文档制作者: 创建文档 -> 编辑文档 -> 发布、下载
文档读者: 暂缺.
(2) 增长指标
aquisition 转化率: 访问 -> 注册按钮-> 注册成功
activiation 转化率: 注册成功 -> 创建文档 -> 编辑文档
设计好了 metrics,怎么具体得到这些数据呢?
我们用神策(类似 Mixpanel, 高级版的 Google Analytics ),包括基本的 dashboard 和更复杂的事件分析
上图是我们的 dashboard, 包括注册用户、文档创建等指标,每天用来了解产品的基本使用情况。
在代码实现上,用户做了相应的操作,就用 js 把相应的数据传输到后台进行记录(埋点),之后就可以用神策进行分析了。
可以用神策来做一些基本的分析,比如
可以用漏斗模型看文档制作中各个步骤的转化率(创建 -> 编辑 -> 下载 /发布)
而完成文档的用户数,就是我们产品的核心用户群
这个也放在了 dashboard 中,可以看到,每周都会有 100-200 名用户在文图上完成了文档制作
对用户注册的行为做了记录(分成成功和失败),就能看到产品注册成功 /失败的曲线
文图的文档有多种类型,包括单页-PPT-打印文档 3 种,这 3 种各占比例多少呢?就我们内部使用而言,其实大部分都是使用单页文档。但从实际用户的使用数据中,发现创建 PPT 比我们预想的多多了
文图的核心功能之一,是用户可以使用模板(下图)创建文档。这些模板都是经过设计的,比单纯的 Excel + Word 来的要更好看。但是,我们自己对模板的设计并不满意,觉得一些模板并不好看,而且,也常有用户说某个模板颜色对比不够等等
怎么分析这个问题?
可以从文档完成率考虑 —— 用户创建文档后,经过一系列的操作,最终完成文档(发布、下载)。期间,有没有可能因为模板的不足( e.g. 颜色对比不够),而放弃呢?
各模板的创建量、完成量和完成率(完成率=完成量 /创建量)如下
可以看到
默认模板(blue)创建量明显高于其他模板,说明数据基本准确
完成率和创建量相当不同,创建最多的并不是完成率最高的,而一些小众模板( pure )的完成率不错,说明计算基本上有效。而且这个顺序和我们主观的感知也大致相符。
仔细观察完成率最后几位 (my_red, my_blue, my_green),可以发现一个共同点,都带有 header. 这和部分用户的反馈相同,“自己写了个文档,结果头上顶个别人家的 header, 心里不是滋味 ”
而很有意思的是,blue 和 my_blue 的关系,
这两个模板大体相同,只是后者带了 header,而完成率就有了一定的区别。考虑到 blue 作为默认的模板本身会有大量的试用,其实际完成率要更高, 因此可以说,单单加上这个 header,文档的完成率就会往下掉 15% (17% -> 14%) 。而移除掉这些 header, 文档完成的数量就能有提升。
排在前面的模板,也是实际反馈中比较受欢迎的模板
总之,通过完成率,可以发现模板设计的好坏对文档完成有较大影响。假如把所有模板的设计水平都提升到第一的水准( 17% -> 25%),是接近 50%的提升。于是,把这些分析结果告诉设计师,他们也就更有动力做之后的改进了,而不是简简单单的说“把模板设计更好看一点”。
仔细观察 dashboard,会发现更深层次的问题
注册量: 始终不变. 意味着自然流量来源没有增加,也就是说没有任何人为我们自发宣传,没有口碑传播
文档创建量: 始终不变,意味着活跃用户没有增长, 否则应该逐渐积累并增加. 意味着大量的用户流失, 没有继续使用
简单来说,产品没有明显的增长,尽管这一年更新了许多功能 ,尽管每周会有 100-200 名用户在文图上完成文档制作(此处应有心碎的声音)
为什么会这样?
可能原因之一,是文图本身的特性所致。
像上图,是典型用户的行为次数统计,可以看到 4-5 月第一次使用,再次使用就是 8 月了,而下次使用呢?这是我们的用户,但他的留存效果并不明显。Airbnb 也是类似,其留存是按年计算的 [3]。
那到底怎么分析呢?
数据分析师同学们这时可能已经摩拳擦掌,想好了很多个模型怎么研究了。。。。。但更好的方法是直接找到用户,问他们为什么继续使用 /放弃使用,也就是用户访谈。可以分群体访谈,比如
流失用户:3 个月前注册并完成文档的用户,但之后没有再使用的。为什么没有再使用?是使用效果不满意,还是行为本身低频?
留存用户:本月完成文档,但是在 3 个月之前注册的老用户。为什么持续使用?他们用来做什么?有没有可能找到更多类似的用户?他们是从哪里得知文图的?
尝试但是未完成文档的用户:本月注册成功,并尝试使用(编辑文档 5 次以上),但最终没有完成文档的。产品在哪些方面有问题,最终没有完成文档?
具体可以用神策查询出符合条件的用户,然后进行回访。
这里,我们以自己的产品文图为例介绍了产品数据分析的一些基本的内容,包括
不过,为什么要用 product analytics (i.e. metrics)?
各种文章总能罗列出各种各样的理由,但大多数人只是看到了别人在用,所以也要用。我觉得,其实是为了回答这个问题 —— 在开发了一个功能之后,效果如何?
这个其实想展开来讲,但感觉又挺啰嗦,那就先说到这里吧。
[1] AARRR, http://500hats.typepad.com/500blogs/2007/09/startup-metrics.html
[2] HEART, https://library.gv.com/how-to-choose-the-right-ux-metrics-for-your-product-5f46359ab5be
[3] Airbnb, http://blog.ycombinator.com/growth-guide2017/
1
psnail 2017-09-05 15:22:19 +08:00
赞,从实际业务特点出发,进行相关目标设定和分析,另,神策 和 growingio 功能确实强大
|
2
WhyLiam 2017-09-05 16:48:18 +08:00
是图片全没了吗?
|
3
cqcn1991 OP @WhyLiam 我这都还在,如果你那看不到,https://www.douban.com/note/635605361/ 这里应该图片是有的
|
4
qianmaole 2017-09-07 07:50:07 +08:00
楼主找到工作了吗
|