数据收集的痛苦幻想与失望埋点到底要不要

2019年05月15日 来源:

随着移动互联时代的兴起和数据量的大规模爆发,越来越多的互联企业开始重视数据的质量。在我创业的这一年里,接触了 200 多家创业型公司,发现如今的企业对数据的需求已不单单局限于简单的PV、UV,而是更加重视用户使用行为数据的相干分析。做数据的同学都知道,在数据分析的道路上,数据收集是重中之重。数据采集的质量直接决定了你的分析是不是准确。而随着企业对数据的要求越来越高,埋点技术也被推到了风口浪尖。所谓,埋的好是高手,埋不好反倒伤了自己。而在数据收集的道路上大家常常会遇到各种各样的问题,今天我们就来分析一下埋点是否需要。

首先我把数据采集的问题归结为三类:

1、不知道怎样采,包括采集甚么数据以及用甚么技术手段收集;

2、埋点混乱,出现埋错、漏埋这样的问题;

3、数据团队和业务工程团队配合困难,往往产品升级的优先级大于数据采集的优先级。

上面这三类问题让数据团队相当痛苦,进而幻想弃用数据采集,而尝试新方案后,进而迎来的是更大的失望。这里我对这三类问题的现状及应对之策做一下分析。

1不知道怎样采

一般创业公司的数据收集,分为三种方式:

第一种直接使用友盟、百度统计这样的第三方统计工具,通过嵌入 App SDK 或 JS SDK,来直接查看统计数据。这类方式的好处是简单、免费,因此使用非常普及。对看一些站访问量、活跃用户量这样的宏观数据需求,基本能够满足。但是,对于现在一些涉及订单交易类型的产品,仅仅宏观的简单统计数据已不能满足用户的需求了,他们更加关注一些深度的关键指标分析,例如:用户渠道转化、新增、留存、多维度交叉分析等。这个时候才发现第三方统计工具很难满足对数据的需求,而出现这样的问题并不是因为工具的分析能力薄弱,而是由于这类工具对数据采集的不完全。 通过这类方式 SDK 只能够采集到一些基本的用户行为数据,比如设备的基本信息,用户执行的基本操作等。但是服务端和数据库中的数据并没有采集,一些提交操作,比如提交订单对应的成本价格、折扣情况等信息也没有收集,这就导致后续的分析成了巧妇难为无米之炊。通过客户端 SDK采集数据还有一个问题就是经常觉得统计不准,和自己的业务数据库数据对不上,出现丢数据的情况。这是前端数据采集的先天缺陷,由于络异常,或者统计口径不一致,都会导致数据对不上。

第二种是直接使用业务数据库做统计分析。一般的互联产品,后端都有自己的业务数据库,里面存储了定单、用户注册信息等数据,基于这些数据,一些常用的统计分析都能够搞定。这种方式天然的就能分析业务数据,并且是实时、准确的。但不足之处有两点:1是业务数据库在设计之初就是为了满足正常的业务运转,给机器读写访问的。为了提升性能,会进行一些分表等操作。一个正常的业务都要有几十张甚至上百张数据表,这些表之间有复杂的依赖关系。这就导致业务分析人员很难理解表含义。即使硬着头皮花了两三个月时间搞懂了,隔天工程师又告诉你因为性能问题拆表了,你就崩溃了。另一个不足之处是业务数据表的设计是针对高并发低延迟的小操作,而数据分析常常是针对大数据进行批量操作的,这样就导致性能很差。

第三种是通过 Web 日志进行统计分析。这类方式相较于第二种,完成了数据的解耦,使业务数据和统计分析数据相互分离。然而,这类方式的问题是目的不纯。Web日志往往是工程师为了方便Debug顺便搞搞,这样的日志对于业务层面的分析,常常缺斤少两。并且从打印日志到处理日志再到输出结果,整个过程很容易出错,我在百度就花了几年的时间解决这一问题。

所以,以上三种方式虽然都多多少少解决了一部分数据收集的问题,但又都解决的不彻底。

2埋点混乱

聊完收集方法,再来说说关于埋点的管理。我曾经接触了一家做了7八年的老牌互联公司,他们的数据采集有 400 多个点。每次数据产品经理提出数据采集的需求后,工程师就会依照要求增加埋点,然后交给数据产品经理去验证。数据产品经理在试用的时候也感觉不到异常,可等产品上线以后,才发现埋的不对,再进行升级发版操作,整个过程效率极低。我们发现,一个公司发展到了一定程度,没有专人去负责埋点管理工作,数据采集就完全没有准确性可言。甚至有时产品上线以后,才发现数据收集的工作没有做,也就是漏埋了。

于是数据团队又开始幻想,既然埋点这么容易出问题,有没有可能不埋点?这就像寻找可以祈求风调雨顺的神灵。在 2010 年,我的团队曾经做了一个叫 ClickMonkey 的产品,只要页面上嵌入 SDK,就可以收集页面上所有的点击行为,然后就可以绘制出用户点击的热力图,这类方式对于一些探索式的调研还是比较有用的。到了2013 年,国外有家数据分析公司 Heap Analytics,把这种方式更近一步,将 App 的操作尽量多的采集下来,然后通过界面配置的方式对关键行动进行定义,这样便完成了所谓的无埋点数据收集。使用这类方案,必须在产品中嵌入 SDK,等于做了一个统一的埋点,所以无埋点的叫法实际上是全埋点的代名词。

另外,这种方式同样也只能收集前端数据,后端服务器和数据库中的数据,照旧是无可奈何的。并且,即使进行前端数据收集,也无法深入到更细粒度。比如提交订单操作,订单运费、本钱价格之类的维度信息,都丢失掉了,只剩下提交这一个行动类型。

对非技术人员,容易被这类方式的名称和直接优势所吸引,但很快又会发现许多深度数据分析需求没法直接满足,进而有种被忽悠的感觉,会感到失望。其实不止是非技术人员,即使是技术人员,也都会让我解释一下可视化埋点的原理,说明无埋点真是个有迷惑性又不甚清晰的概念,难以细究。这里说一下关键点:1是事先在产品上埋一个 SDK,2是通过可视化的方式,生成配置信息,也就是事件名称之类的定义,三是将采集的数据依照配置重命名,进而就能做分析了。

3烾湥团队和业务工程团队的配合问题

最后,我们再聊一聊数据采集中遇到的非技术性问题。一般来说,公司到了 A 轮以后,都会有专门的数据团队或者兼职数据人员,对公司的一些业务指标负责。即便为了拿到这些基本的业务指标,一般也要工程团队去配合做一些数据收集工作。这个时候雷军的快理念就起到作用了,天下武功唯快不破。于是所有事情都要给产品迭代升级让路,快的都没有时间做数据采集了。却不知没有数据指标的支撑,又怎么衡量这个功能升级是不是合理的呢?互联产品并不是功能越多就越好,产品是否经得起用户考验,还是要基于数据说话的,然后学习新知识,用于下一轮的迭代。

数据团队和业务工程团队是平级的团队,而数据团队看起来总是给业务工程团队增加麻烦事儿,似乎也不能直接提升工程团队的 KPI,所以就致使需求不被重视,总是被更高优先级的事情挤掉,数据的事情难有进展。

解决之道

前面给大家抛出了数据采集中常见的三类问题,下面我们来看一下应对之道。

对于不知道数据怎么采的问题,首先从意识上要重视数据采集工作。数据的事情归结起来就两点:数据采集和数据分析。可不能只看到数据分析而疏忽了数据采集。事实上我个人在百度做数据的几年里,最大的心得就是数据这个事情要做好,最重要的是数据源,数据源搜集得好,就成功了一大半。数据收集的基本原则是全和细。全就是把多种数据源都进行收集,而不只是客户端的用户数据。细就是强调多维度,把事件发生的一系列维度信息,比如订单运费、成本价格等,尽可能多的记录下来,方便后续交叉分析。其次,要有一个数据架构师,对数据收集工作负责,每次数据收集点的增加或变更,都要经过系统化的审核管理,不能顺便搞搞。最后,我这里要推荐 Event 数据模型,针对用户行为数据,简化成一张宽表,将用户的操作归结为一系列的事件。

对埋点混乱的问题,前面提到的数据架构师的角色,要对这块的管理负责。如果前面完成对 Event 的梳理,这里的埋点就会清晰很多。另外还要推荐尽量从后端进行埋点,这样便无需多客户端埋点了。当然,如果有行动只在客户端产生,还是要在客户端进行埋点的。对于业务复杂的情况,只有负责人还不够。目前我们神策分析针对这个问题,推出了埋点管理功能,对于每个采集点的数据收集情况,都能够做到全盘监控,并且可以针对一些无效收集点进行禁用。总之是希望把这个问题尽量好的解决掉。

对于数据团队和工程团队的配合问题,我这里是想说给创业公司的创始人听的。两个平行部门间的推动,是很难的。数据的事情一定要自上而下的推动,也就是创始人一定要重视数据,把数据需求的优先级提升,这样在项目排期时,能够把数据的需求同时做了。我们知道两军对战,情报搜集工作的重要性。做产品也是一样,数据收集工作的重要性不言而喻。

最后,期望越来越多的创始人,从拍脑袋决策逐步向数据驱动决策做出转变。

白带多是什么原因
宫颈炎的治疗方法
女人为什么会经期延长
相关文章
  • 尖椒炒猪肺的做法
    尖椒炒猪肺的做法

    尖椒炒猪肺的做法冬季是雾霾天气严重的时候,基本上天天雾里吧唧的,还会有呛人的味道,矮油我们的肺啊,快被雾霾给淹没了。动物的内脏按理说应该少吃或不吃,可民间有以形补形的说法,实在没辙,吃块猪肺补补肺。 主料酱猪肺500克尖椒2...

  • 八个月后我还是原谅了他的背叛
    八个月后我还是原谅了他的背叛

    八个月后 我还是原谅了他的背叛不到一年前,28岁的文欣跟一见倾心的男友举行了向往已久的婚礼,然而新婚仅一周,她便经历了从幸福的巅峰直接掉入痛苦深渊的过程。继而是一段极其茫然和挣扎的过程。终于,她按捺下纠结的心绪,用了整整八个月的时间,凭着...

  • 大家知道藤艺沙发保养方法吗
    大家知道藤艺沙发保养方法吗

    大家知道藤艺沙发保养方法吗?藤艺沙发古典大方,能够彰显主人的品位,但是藤艺沙发的保养是个难题。藤最大的特点就是曲折多变,亦刚亦柔,但植物的本质特点还是无法避免,因此在使用中一定要注意保养和清洁,才能延长藤制家具的寿命。下面和一起学习一...

  • 刊文称反腐是把双刃剑中纪委心里咋想的国内
    刊文称反腐是把双刃剑中纪委心里咋想的国内

    刊文称“反腐是把双刃剑”,中纪委心里咋想的?_国内_新京报6月1日,中纪委官头条刊发的一篇名为《突出执纪特色》的文章中,有这样一段话,“反腐败是把双刃剑,打的是违纪违法党员干部,疼的是组织,损害的是党的形象。对每个违纪违法干部的惩处,给他本...

  • 江苏舜天600万重金悬赏足协杯冠军
    江苏舜天600万重金悬赏足协杯冠军

    摘 要: 为了足协杯冠军,江苏舜天拼了。昨天,从舜天俱乐部获悉,球队历史上首次晋级足协杯决赛的舜天俱乐部下了血本,只要夺冠,就将重奖球队600万元。为了足协杯冠军,江苏舜天拼了。昨天,从舜天俱乐部获悉,球队历史上首次晋级足协杯决赛的舜天俱乐...

  • 张立黄片风波缘何跟风而来
    张立黄片风波缘何跟风而来

    张立:“黄片风波”缘何跟“风”而来?广西涠州岛管委会被曝在应对台风“威马逊”中救灾不力,同时上所谓“涠管会人员看黄片”的图片,系在一间当时紧闭的办公室被人破门进入后所摄,是否系插进U盘显示的拍摄照片,公安机关正在勘查。(7月27日 中国青年...