Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >一文读懂:什么是ID-Mapping

一文读懂:什么是ID-Mapping

原创
作者头像
张叔叔讲互联网
发布于 2023-10-15 01:20:33
发布于 2023-10-15 01:20:33
7000
举报

​以用户实体为例,可以表示该实体的ID类型包括UserId,DeviceId,IMEI等,不同ID可以获取到的阶段、生命周期均不相同。DeviceId伴随着用户的整个生命周期,但是同一用户使用不同设备时DeviceId不同,即使同一设备DeviceId也有可能因为刷机、重启等产生变动。UserId是用户登录之后系统分配的唯一标识,即使不同的设备只要UserId相同就会识别为一个用户,但UserId只能在登录后获取到,所以会损失用户登录前的行为数据。单独使用DeviceId或者UserId都不能完整地表达一个用户,如果可以将不同ID进行关联映射并最终通过唯一的ID标识用户,那么可以构建出一套统一的、完整的用户实体数据。ID-Mapping主要用于解决上述问题。

ID-Mapping从字面理解就是ID之间的映射,即不同ID之间能够映射关联到一起。业界一般期望通过唯一的ID来表达用户实体,最终实现物理世界的实体在网络世界中有唯一的ID标识。很多公司使用ID-Mapping来打通ID体系,比如阿里巴巴每个业务可以通过淘宝账号打通,腾讯可以借助微信号或者QQ号打通各业务数据,神策数据支持ID-Maping并通过唯一的神策ID来标识用户。

ID-Mapping主要解决的是信息孤岛问题,如表4-4所示,展示了几种常见的信息孤岛情形。

                                表4-4 几种常见的信息孤岛情形

信息孤岛情形

主要问题

ID-Mapping解决思路

同一应用,相同客户端

登录前使用DeviceId标识用户,登录后使用UserId标识用户,登录前后信息无法打通

打通登录前DeviceId和登录后UserId,登录前后数据无缝衔接贯通。登录前数据可用于登录后业务使用

同一应用,不同客户端

同一个应用有不同的客户端,如Android和IOS客户端,H5网页、小程序等。当同一个用户使用不同客户端时,登录前都是不同的DeviceId,无法打通不同端下的用户数据

通过关联不同端登录前后数据,唯一标识一个用户,实现数据在多端的融合

不同应用,不同客户端

同一个公司旗下有多款应用,用户在多个应用间的数据无法打通。用户在A应用上积累了大量行为数据和画像数据,当用户使用B应用时无法使用A应用下积累下的数据

通过不同应用间的各类ID相关联,最终能够通过唯一ID标识一个用户。A和B应用间的用户关联到一起,从而实现A和B应用间数据的联通

ID-Mapping过程包含用户的标识和映射两个环节,下面将介绍4种常见的ID-Mapping方案,重点介绍如何实现ID间的映射。不同方案所适用的场景和优缺点不同,可以根据实际需求进行选择。

方案一:仅使用DeviceId

图4-16展示了只使用DeviceId标识用户的示意图。部分工具类应用,比如杀毒、文件管理和解压缩工具等用户登录率较低,比较适合通过DeviceId来唯一标识用户。只要用户DeviceId不变就可以认为是同一个用户,用户登录前后的数据也可以使用DeviceId实现打通。

 图4-16 仅使用DeviceId标识用户
图4-16 仅使用DeviceId标识用户

只使用DeviceId标识用户的实现方式比较简单,但是其缺点也比较明显。不同用户使用同一个设备会被标识为同一个用户,而同一个用户使用不同设备会被识别成不同用户。如果多用户使用同一设备或者同一个用户使用不同设备的概率较小,仅使用DeviceId标识用户也是可行的。

方案二:一个DeviceId关联到一个UserId

图4-17展示了一个DeviceId绑定到一个UserId的示意图。同一个设备登录前的DeviceId可以与登录后的UserId进行绑定,且DeviceId只可以绑定到一个UserId。当用户切换设备并登录后,其数据可以与老设备上的数据贯通。

图4-17 一个DeviceId关联到一个UserId示意图
图4-17 一个DeviceId关联到一个UserId示意图

方案二相对方案一可以更精确的标识用户,登录到同一个设备的不同用户数据可以进行有效区分,同一个用户即使登录到不同设备也会准确识别为同一用户。但是一个DeviceId只能关联到一个UserId的方式也存在问题,因为现实中同一个设备上可能有多个登录用户使用,一个登录账号也会使用到多个设备上面。所以这种一对一的关联,存在如下问题:

  • 一个未被绑定的设备登录前的用户和登录后的用户不同,这个时候会被错误地识别为同一个用户。
  • 一个被绑定的设备后续被其他用户在未登录状态下使用,也会被错误地识别为之前被绑定的用户。
  • 一个被绑定了的用户使用其他设备时,未登录状态下的数据不会标识为该用户数据。

方案三:多个DeviceId关联到一个UserId

为了解决方案二中存在的一些问题,还可以采用多个DeviceId关联一个UserId的方式,只要登录后的UserId相同,其多个设备上登录前后的数据都可以贯通起来。图4-18展示了其示意图。

图4-18 多个DeviceId关联到同一个UserId
图4-18 多个DeviceId关联到同一个UserId

与方案二相比,方案三可以解决一个用户不能绑定多个设备的问题。但是因为一个DeviceId只能绑定到一个用户,当其他用户使用同一个已被绑定的设备时,其登录前数据还是会被识别成已绑定到该设备的用户。

方案四:多个应用间的不同ID进行关联

以上方案都是针对单个应用的ID-Mapping方案,当存在多个应用并想实现应用间ID映射和数据打通时,可以采用不同应用间的ID关联方案。如图4-19所示,通过将不同应用间的业务ID进行关联,可以实现不同应用之间的打通,其中Phone、UserId和Email最终可以指向同一个用户。

图4-19 多个应用间不同ID关联
图4-19 多个应用间不同ID关联

以上介绍了4种常见的ID-Mapping方案,随着对用户识别准确度要求的提高,其工程实现复杂度也会提升。业务需要平衡好准确度和工程复杂度,根据自身业务特点选择合适的ID-Mapping方案。

本文节选自《用户画像:平台构建与业务实践》,转载请注明出处。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
数据中台OneID:详解ID-Mapping!
ID-Mapping是大数据分析中非常基本但又关键的环节,ID-Mapping通俗的说就是把几份不同来源的数据,通过各种技术手段识别为同一个对象或主题,例如同一台设备(直接),同一个用户(间接),同一家企业(间接)等等,可以形象地理解为用户画像的“拼图”过程。
大数据梦想家
2023/04/23
5.6K1
数据中台OneID:详解ID-Mapping!
《用户画像:方法论与工程化解决方案》读书笔记第3章
在画像系统搭建的过程中,数据存储的技术选型是非常重要的一项内容,不同的存储方式适用于不同的应用场景。本章主要介绍使用Hive、MySQL、HBase、Elasticsearch存储画像相关数据的应用场景及对应的解决方案。
辉哥
2022/05/13
8300
《用户画像:方法论与工程化解决方案》读书笔记第3章
数仓数据分层(ODS DWD DWS ADS)换个角度看
注意,有的公司ODS层不会做太多数据过滤处理,会放到DWD层来处理. 有的公司会在一开始时就在ODS层做数据相对精细化的过滤.这个并没有明确规定,看每个公司自己的想法和技术规范
全栈程序员站长
2022/09/13
1.9K0
基于Hive数据仓库的标签画像实战
建立用户画像首先需要建立数据仓库,用于存储用户标签数据。Hive是基于Hadoop的数据仓库工具,依赖于HDFS存储数据,提供的SQL语言可以查询存储在HDFS中的数据。开发时一般使用Hive作为数据仓库,存储标签和用户特征库等相关数据。
王知无-import_bigdata
2021/11/30
1K0
基于Hive数据仓库的标签画像实战
用户画像 | 标签数据存储之Hive真实应用
小伙伴们大家好呀,趁着年假的几天时间,我写了一篇 Elacticsearch 从0到1的“长篇大作”,现在还在排版,相信很快就会与大家见面了!关于系统学习用户画像,之前已经分享过2篇文章了,分别是《超硬核 | 一文带你入门用户画像》和《用户画像 | 开发性能调优》,收到的读者反馈还不错!本期文章,我借《用户画像方法论》一书,为大家分享在用户画像系统搭建的过程中,数据存储技术基于不同场景的使用。考虑到 篇幅的文章,我会用4篇文章分别介绍使用 Hive、MySQL、HBase、Elasticsearch 存储画像相关数据的应用场景及对应的解决方案。本期介绍的是 Hive,如果对您有所帮助,记得三连支持一下!
大数据梦想家
2021/10/22
2K0
画像标签分类及体系
本文首先介绍标签包含哪些常见实体类型以及ID类型,即标签的主体包含什么,用什么ID表达;其次详细介绍了几种标签的分类方法:按生产方式划分、按时效性划分以及按标签所属维度划分。
张叔叔讲互联网
2023/10/07
8370
画像标签分类及体系
基于Spark Graphx实现ID-Mapping
通常公司有产品矩阵,而每个产品都有自己的注册账号产生的用户ID。从公司全局,整合用户表,用户行为数据来看,确定不同产品的用户ID是相同一个人非常重要,这关系到用户行为分析,用户画像,用户数据挖掘等业务需求。
平常心
2020/10/16
5.1K0
新零售实战 | 新零售在线商城多端触达体系演进:从基础触达到智能生态的实践之旅
为了满足消费者随时随地购物的需求,在线商城的多端触达体系变得至关重要。多端触达体系涵盖了移动端的 APP、H5 页面、PWA 应用,PC 端的官网商城和后台管理系统,智能设备如 POS 机、自助收银机、AR/VR 试衣镜,以及第三方平台的微信小程序、支付宝生活号、抖音小店等。这些不同的终端和平台构成了一个庞大的网络,让企业能够全方位地触达消费者。然而,构建和优化这样一个多端触达体系并非易事,需要经历多个阶段的迭代和升级。
叶一一
2025/04/24
1950
新零售实战 | 新零售在线商城多端触达体系演进:从基础触达到智能生态的实践之旅
【软件开发规范四】《应用系统安全编码规范》
为落实《信息安全策略》的要求,有效加强应用系统安全管理,提升应用系统安全编码能力,指导开发团队有效进行应用系统安全编码,特制定本规范。
再见孙悟空_
2023/09/19
1.5K0
用户画像标签体系——从零开始搭建实时用户画像(三)
​ 用户画像的核心在于给用户“打标签”,每一个标签通常是人为规定的特征标识,用高度精炼的特征描述一类人,例如年龄、性别、兴趣偏好等,不同的标签通过结构化的数据体系整合,就可与组合出不同的用户画像。
大数据流动
2020/05/29
4.7K0
用户画像标签体系——从零开始搭建实时用户画像(三)
用户标签&营销体系的客户数据平台(CDP)建设
CDP(Customer Data Platform,客户数据平台)是由营销人管理的客户数据库,将来自不同渠道、不同场景的实时和非实时的客户数据进行采集、整合、分析和应用,以实现客户建模、设计营销活动、提升营销效率和优化客户体验的目标,从而促进企业业绩及利润的增长。接下来跟大家聊聊为什么需要建设 CDP;我们应该怎么去建设 CDP;最后是建设 CDP 我们需要做什么。
王知无-import_bigdata
2021/07/30
4.4K0
一文彻底搞懂cookie、session、token、jwt!
随着Web应用程序的出现,直接**在客户端上存储用户信息**的需求也随之出现。者背后的想象时合法的:与特定用户相关的信息都应该保存在用户的机器上。无论是登录信息、个人偏好、还是其他数据,Web应用程序提供者都需要有办法 将他们保存在客户端。对于这个问题,第一个解决方案就是cookie。
CODER-V
2023/03/02
4.8K1
一文彻底搞懂cookie、session、token、jwt!
一文读懂DDD
DDD不是架构设计方法,不能把每个设计细节具象化,DDD是一套体系,决定了其开放性,体系中可以用任何一种方法来解决这些问题,但是如果一些关键问题没有具体方案落地,可能让团队无所适从。
春哥大魔王
2019/06/02
2.5K0
神策大数据2-用户识别
神策分析使用神策ID,即events表中的user_id和users表中的id,来对每个产品的用户进行标识,即神策ID等价于这两个用户名
皮大大
2021/03/01
1.5K0
神策大数据2-用户识别
医疗系统的权限就该这样设计,稳!
前面一节介绍了码猿慢病云管理系统的多租户架构的设计,相信大家对业务也相对了解了一些,这节就来聊一聊码猿慢病云管理系统中的权限是如何设计的?
码猿技术专栏
2023/08/10
6320
医疗系统的权限就该这样设计,稳!
数据运营平台-数据采集[通俗易懂]
大家好,我是架构君,一个会写代码吟诗的架构师。今天说一说数据运营平台-数据采集[通俗易懂],希望能够帮助大家进步!!!
Java架构师必看
2022/07/06
5.3K0
数据运营平台-数据采集[通俗易懂]
一文读懂中间件
在码农的日常工作中, 经常会提到中间件,然而大家对中间件的理解并不一致,导致了一些不必要的分歧和误解。“中间件”一词被用来描述各种各样的软件产品,在不同文献中有着许多不同的中间件定义,包括操作系统(和/或网络)和应用程序之间的软件层,以及两个应用程序之间的“粘合剂”。它也被描述为一种重要的集成工具,或支持与分布式软件的模块化连接。
半吊子全栈工匠
2022/06/24
4.9K0
一文读懂中间件
一文探究数据仓库体系(2.7万字建议收藏)
数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。
肉眼品世界
2020/11/11
2K0
一文探究数据仓库体系(2.7万字建议收藏)
神策大数据用户行为分析
神策支持查看特定用户群的历史行为序列,找到提交订单行为,对此之后的行为进行人工标注,以推测后续未进行支付环节的原因
皮大大
2020/10/16
2.1K0
神策大数据用户行为分析
当金融风控遇上人工智能,众安金融的实时特征平台实践
导读:随着企业数字化转型升级,线上业务呈现多场景、多渠道、多元化的特征。数据要素价值的挖掘可谓分秒必争,业务也对数据的时效性和灵活性提出了更高的要求。在庞大分散、高并发的数据来源背景下,数据的实时处理能力成为企业提升竞争力的一大因素。今天分享的是众安金融实时特征平台实践。
NebulaGraph
2023/06/28
7710
当金融风控遇上人工智能,众安金融的实时特征平台实践
相关推荐
数据中台OneID:详解ID-Mapping!
更多 >
领券
💥开发者 MCP广场重磅上线!
精选全网热门MCP server,让你的AI更好用 🚀
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档