1.APP数据上报机制的机制是什么样的？(组图)

我们每天都在使用各色各样的APP，我们的操作行为也不断地被APP的开发商搜集，这种APP的开发商通过可视化报表平台，查看APP的用户行为数据。本文将企图解密，从用户触发操作，到那些数据产生可视化报表的整个过程。

申明下，本文是分享给产品总监们的。长久以来，关于产品总监要不要懂些技术基于网站日志数据挖掘的用户访问行为模式可视化研究，仍然是1个有争辩话题。个人理解，产品总监不须要懂太多技术，但要懂些技术上的基本过程。

所以，本文也将寄希望省略掉特别多的技术细节，说清楚从APP数据上报到展示的整个过程。

一、从SDK到可视化报表的整个过程

从APP端的统计SDK进行数据上报，到最后的可视化报表展示（T+1数据展示），可以概括为下边6个步骤：

统计SDK进行原始数据上报，上报到对应的接入服务器；接入服务器把数据写入到队列中；数据剖析服务器对队列中的数据进行过滤剖析，剖析后写入到本地c盘；大数据估算服务器定时拉取本地c盘的数据，进行大数据估算；大数据估算的结果写入到报表数据库；读取报表数据库数据，进行可视化报表展示。

以下，假设陌陌Android端，接入了TalkingData（以下简称TD）的AndroidSDK，对SDK上报的部份步骤，进行解释。

根据假设，陌陌获得了1个TD的分配的APPID。该APPID，就是陌陌在TD这个统计平台的身分证，用于惟一标示陌陌自己的身分。

用户使用陌陌时使用的手机硬件信息，以及在陌陌上的操作行为，都会通过SDK进行上报了。

1.APP数据上报机制

APP数据上报的机制是哪些样的？

基本情况是：

重新打开陌陌时，立刻上报一次当前的启动数据以及上一次的缓存数据；在使用陌陌的过程中，每隔2分钟（时间间隔可调整）上报一次数据；将陌陌挪到后台运行时，立刻上报一次数据；正在使用陌陌时，将陌陌杀害后，数据将缓存在本地，待下一次启动陌陌时进行上报。

以上4个上报机制，每位统计平台采用的不尽相同，有些平台提供可选项，由APP方自行决定上报的机制。

一个节约用户流量的极端上报机制是：本次启动所形成的数据，仍然缓存在顾客端，待上次启动时进行一次性上报（将上报的时间间隔设为24小时，即等同于本次启动中的数据，全部缓存在本地）。

通过Android的控制台，见到最后一行日志时，表示数据上报成功了。

09-2411:40:31.810I/TDSDKLog(11497):Newdatafound,Submitting…

09-2411:40:31.820I/TDSDKLog(11497):Newdatalen:2804

09-2411:40:32.240I/TDSDKLog(11497):DatasubmittingSucceed!

2.SDK与服务器之间的对话

SDK和接入服务器的对话可以包括：

SDK：我早已根据参数格式，递交了数据了，你看下。

这么可能发生以下情形：

（1）正常情况

服务器的回复：哦，我看下，递交成功了。上次哪些时侯递交，你SDK自己来定哈。

（2）拒绝访

服务器回复：我跟你这个SDK没啥子关系，你无权访问。

（3）其他异常情况

服务器回复：此次递交成功了，不过服务器或则网路似乎有点问题，上次递交的时间为30分钟后。

3.对数据进行初步剖析

步骤2，接入服务器把数据写入到队列中，是1个写数的过程。

我们注重详尽介绍步骤3，对数据进行初步剖析。

在步骤3中，服务器将对SDK上报的数据进行写日志操作。例如，可以根据SDK上报的数据格式输出json格式串，将json格式串写入到日志文件中。

定义好每位日志文件的生成规则，例如，每位20分钟生成1个日志文件，每隔1个小时生成1个文件夹（包含3个文件）。

接出来，就是对数据的初步剖析，即对日志文件进行初步解析，将1个大文件，根据规则，切割成不同维度的小文件（表）。诸如：切换成10个小文件，第1个小文件储存手机硬件信息，第2个文件储存手机的网路信息基于网站日志数据挖掘的用户访问行为模式可视化研究，第3个文件储存埋点风波，等等。

4.进行大数据估算

经过了步骤3以后，原始数据的简单数据剖析（分类）早已完成了，估算海量的数据，还须要专门的大数据估算平台，例如：Hadoop之类的。

例如：估算当前应用明天的新增用户和活跃用户数，就可以使用Hadoop中的mapreduce进行去重。

构想下，1个日活100万的APP，每位用户每天平均形成100条数据，这么就有1亿条数据，这么对于大数据平台来说，就有1亿个设备号，Hadoop要做的，就是对这1亿个设备号进行去重，得到当日的活跃用户数。

5.可视化报表展示

步骤5，是大数据平台将估算好的数据入库的过程。

我们详尽介绍步骤6，可视化报表展示，对数据进行展示。

在可视化报表中，我们可以见到多种多样的数据指标，今日新增、昨日活跃、昨日启动次数、事件的发生次数、事件的发生人数。

以上数据展示，都是大数据估算后的结果。大数据估算的逻辑，来自于可视化报表的展示需求。

举例：今日活跃用户数，既可以用今日启动过应用的设备数来估算，也可以用今日启动过应用的手机号数目来估算。后者就是大数据平台对设备进行去重，前者则是对手机号进行去重了。

三、小结

在本文的撰写过程中，省略了好多技术细节。

一方面，是由于本人的知识水平有限，难以确切描述；另一方面，本文的出发点，是让读者大致了解下从APP上报到可视化报表的过程，这个过程本是1个特别技术化的过程，涉及到特别多的技术要点，我们也须要有选择省略。

希望，本文对你有所帮助。

本文由@十三先原创发布于人人都是产品总监。未经许可，严禁转载

题图来自Pexels，基于CC0合同