12_尚硅谷_数仓采集_埋点数据基本格式

好，那我们简单这个回顾一下第二章内容啊，我再强调一下，这章很重要啊，很重要这章呢，就解决的你是从零到一啊，到企业当中啊，如何来解决这个问题，那你要带着这个企业项目开发的这个角度，这个思维去分析这个问题啊，大家稍微回顾一下，比如说这些架目如何技术选型，那这块我们要注意什么。两两套方案对吧，而且一套是我们熟悉的，一套是不太熟悉的啊，不太熟悉的OK，那如果说一旦是不太熟悉的，你要要时间，这个要时间啊，那下一个呢，是这个系统流程设计，你说在你给提领导提这个方案的时候，那这个流程图是一定要有的啊，一定要有的也是这个价格，我们刚才看见有档吧，啊，它这个数据是怎么走向啊，怎么来的程么序的，那还有这个框架版本选型，框架版本选型，我们选择什么框架。四点线是吧？啊，个别公式，如果你说了多尔的话，我们可以选择阿尔法奇啊，这两个都行啊好，那这是第二章，我们要掌握内容，那接下来呢，我们来看一下这个第三章说数据的生成啊，我们要做这个项目，那就要有数据，那这个数据啊，嗯，得我们自己去照啊，但是照的这个表结构，比如说这些这个表我们照什么样的数据，这个呢，都是来源于企业啊，都是我从那个企业老师那拿过来的啊，他只不过把一些核心的敏感数据干掉。

啊，明天视频。行，那我们来看第一个，那首先呢是买点数据的基本格式，你说我们要照数据，那是一个数据格式是什么样的，你要知道，那数据格式呢分两块，一块呢叫公共字段，一块叫业务字段。公共之段呢，它包含了所有安卓手机，包含了所有字段。啊，就是你发任何一条日志信息，它都要包含在这些阶段，那比如说是什么呢。

你看你这个设备的就是手机的唯一标识啊，任何一个手机它都有自己的唯一的ID啊，类似于身份证，还有优质ID属于用户的为表示啊，VC程序的版本号，于是你这个应用程序它是个版本，那还有呢，这个程序的版本名称啊，版本名称以及你这个应用程序用的是什么语言，是中文是英文啊，还有渠道号，渠道号合称。这个渠道是几乎是各大公司必须分析的啊。哎，分析哪个渠道下的多，那是不日后我说推广的时候，哎，我是要重点去推这个渠道啊好，那还有呢，是坏S，比如说安卓的版本，安卓版本是哪一个版本啊，7.1现在也啊九点几了吧，还有这个区域啊区你是从什么地方是北京上海深圳啊去用的这个手机啊，还有呢，这个手机的型号你用的是。

华为的啊，什么这个小米的啊等等，那下面这个品牌啊，品牌那型号呢，就是比如说选择华为，华为下边的。荣耀啊，还有啥呢，P10用P几的P鞋，Mate系列对mate系列对吧，啊mate系列那不同的型号。那还有这个呢，是呃，SDK的版本啊，是程序的一个版本啊，那还有一个是他的邮件gma啊，对我邮箱啊，全球邮箱，那还有呢，屏幕的框框。评测报告，你的手机这个尺寸是什么样的？那你知道这个有啥用吗？分辨率有啥用啊？嗯，前端就没。它是这样用的，你想想，如果你统计出这个屏幕分分辨率在1620乘以1080，这个分辨率的人数占90%。

那我问你，日后你在升级应用程序的时候，或者做屏幕适配的时候，你优先升级哪一个版本？你肯定优先升级的是对应的这个版本，对吧，我要优先满足这些用户，我们再举个例子，就是商务，商务这个网站跟移动端和PC端，那你会发现基本上都是PC端的速度会比移动端快。因为我们移动端来的这个用户很少啊，大部分都是网站上搜索啊，那我们在升级或者做这个分配任务的时候，如果这两个。时间冲突了，那我优先选的就是P一端啊，P一端先上啊，就这原因啊好，那后面下面还有一个客户端日志生成的时间。那客户端日志生成时间，也就是说这个日志在生成那一刻。

这段时间呢，那有什么用啊。啊，就是日志，我要记录一下他什么时候产生的。嗯。那我是不是就可以算一下这个用户这个操作的这个时间行为啊，比如说多长时这些用户跟下一条日志产生中间隔了多久，闹心了，帅出他的停留时长。同时这个客户端产生时间我再传到服务端，服务端我也会记录一个时间。那么他们两个如果时间非常非常长，我能判断出网络有延迟，那这个延迟我能不能接受？啊，我能不能对它出现一个优化。那这是我们要要做的事情啊，那之后还有这个网络模式。啊，你是这个用户是在WiFi情况下用的，还是在这个移动流量上用的3G还是4G，那同样那我在推的时候，我要重点的啊，去判断这个用户的确定啊好，那这里面呢，还有一个经纬度啊经纬度那为什么有经纬度呢？这个比较特殊，因为我们这个应用啊是TCL呃公司他们是做的是海外市场。

啊，像这个巴西。俄罗斯啊，欧美啊，欧美啊不在国内啊，你听过呃，这个GC在国内做什么电商啊新闻啊这种东西吗。没有啊，这这是这原因啊，他不在中国内部啊，做的是国外的啊国外。好，那这是这一块啊，这一块这是公共字段，你发任何一条信息这里面都有的，那另一个字段呢，就是业务字段，那是买点上报的字段，有具体的业务类型啊，什么业务类型呢？你看这里面是个ET。事件。那这个事件呢，这里面啊，你可以包含很多事件，这些事件对应的这些。

你这条日志表示的是商品列表信息，商品点击信息，还是商品产品信息，还是下面哪一个，那怎么区分呢？事件名称，哎，我能把你那个事件名称给你。标记出来啊，那同时下面这个呢，就是具体的事件啊，具体的事件，那上面这个呢，是客户端产生的事件，那它指的就是这一个事件产生的事件，那上面这个客户端事件呢，对应的是整个这一批事件产生时候发生事件。那么，为什么会有这种情况发生呢？那为什么我不产生产生一条日志，我就发一条日志呢。处理起来就是请求太频繁了，只要产生一条日志，我就发一条请求啊，把它上传上来，那这个很耗网络的带宽啊，但是有一家公司我觉得应该是做到了。

就是发一啊，产生一条日志，我就上来一条，哪个呢。头条啊，你有没有感觉你在这个头条上点一条新闻，一刷新，立刻就能实现这个推荐。而且推荐的个准就这条，比如我点击那个，嗯，火箭火箭那个球赛对不对，下一条还是再下条还是。那如果你是批处理的话。那我可能是一般是怎么处理呢，这个用户从进入到到退出啊，下次再来的时候才会做对推荐啊，那就是批处理，那这个效果就好看啊，比较典型的我觉得这个京东他做的就不是特别及时。啊，他不是特别及时啊，他并不是根据我的喜好，他是有一个延迟，可能一小时后两小时后才把这个推荐效果展示出来。啊，它是有延迟的，那为什么他不做这种非常及时的，那肯定有一定的成本在里面，对吧？啊而且还有一定的这个技术上算法的要求，就在这个今日头条内部做这个大数据啊，光用户画像一个组就上千人。

对啊，他为什么做这么牛，就是有强大的这个技术团队做支撑。而且可以跟大家说，目前355的大型还是比较牛逼的，对吧啊，可以横扫各大互联网公司，但是就是扫不动这些套条啊，就是没有人能进去啊，所以说我一直发那个宣传令，谁能进去的话，我请单。洗脚是吧，但是目前为止还没有目前，呃，前两天是有一个咱们的老学员从京东啊，他但是他一夜去的是京东啊离职了，最近在跳槽啊在变，这个京头条已经变到第三遍了。啊，后面还继续在创啊，他要人进去的话，那就改变了历史啊，就没有障碍，确实这个很难很难啊，多少人去尝试啊，就为了我这为了我争这一口气哈，行，那这是这一块啊，那你看这个，这是display display对应这个，那display里面你看这是几个时段呢？这是五个字段吗？哎，点开。

你看第器练里面一个两个三个四个五个啊，就把这四个啊的含义记录下来，就这样的啊。好，这呢就是字段的格式，那这里面。我刚才忘问了，能看出来这是什么数据吗？是不是接设数据啊啊，接设数据的特点是大括号开头，大括号结束啊，那代表的是一个建设对象啊建对象那这个又是什么呢。接身数组，那数组里面就对应着多个对象对吧？啊多个对象啊，所以说这里面存放了N多个事件，他攒了一批事件之后再上传啊，那这其实就是为了这个，呃，节省这个网络流量带宽啊，而且电商方面，电商行业没有做到这种。

嗯，特别及时的啊，像新闻类的基本上都是还是比较及时的啊行，那这是这一块啊，也说这个事实类型，那类型的话，下面给大家一个啊，真正我们未来要照的日志长什么样，经常这样。啊，像这样。那长这样跟刚才有一定的区别，区别在哪呢？前面加了一个时间戳啊，时间戳后边加了一个中线，拼上了一个计算数据。啊，那这个时间是什么时间呢。服务器时间啊，开始的时候不是有一个客户端时间呢，哎，他们两个的时间就要做差去算出来网络的延迟啊，延迟OK啊，那下面这个建设数据这里面啊，那这一块呢，就是这个公共字段啊共制造，那下面这块呢，就是世界之段啊，世界之段那这一块啊，这个你可以认为是D啊，这个AP就是你这个，嗯。

之前呢，这个数据是是有历史的啊，什么历史呢，我说的是TCL的，TCL内部啊，它有N多个应用。啊，有处理新闻的。啊，有处理这个旅游的，有处理商品的电商的，那这么多他都想共用一套大众框架，那他就用。这些东西去区分，它表示的可以是新闻电商，那下边这些数据都新分电商的啊，用于日后的一个区分，那现在呢，在对于咱们来说，咱们写的都是中小型公司，数据量没有那么大啊，那你可以用来其个什么呢？APP端，你说移动端和PC端啊，平台处理都可以采用这种方式啊去处理它，当然你要不把它干掉也是没有任何问题的，不加它没问题啊。

那这个呢，是日志格式的一个介绍。