规则圈选中所使用的画像标签数据是离线计算出来的，大部分在计算过程中剔除了很多明细信息，仅保留了最关键的画像内容，即某日某用户的标签值。...虽然画像数据是浓缩精简后的核心数据，但在很多人群圈选场景中依赖行为明细数据，比如运营人员希望找出2022-08-15 10:00:00到2022-08-15 12:00:00之间通过手机客户端点赞了某篇文章的用户...第一种使用Hive表导入，首先需要找到离线行为明细数据，然后将数据整理后写入到ClickHouse中；第二种直接消费实时行为数据并写入ClickHouse中，其圈选结果也更具时效性。...行为明细数据包含时间属性，可以计算出每一个用户按时间排序后的行为序列，基于该序列可以实现行为序列圈选。比如圈选出点赞文章后又分享文章的用户，找到收藏商品后最终购买了商品的用户。...在行为明细圈选时可以结合画像标签数据一起使用，比如找到在某时间段通过手机客户端点赞了某篇文章的北京市男性用户，可以直接关联画像宽表进行计算。
同时，通过规则客群的圈选能力实力客群的精细划分。用户数据分析：基于丰富的用户标签数据，CDP 平台提供用户画像洞察功能，支持实时效果评估和营销漏斗分析。...数据服务层则包括用户数据服务、客群圈选、营销策略、实时事件、 AB 实验和实时效果分析回收在内的全方位数据服务，满足各业务场景的数据需求。...随后，利用 Spark 作业将 DWS 层数据抽取到 Impala 中，进行离线的标签计算和客群的圈选。...客群圈选在架构 1.0 中，客群服务先生成动态 SQL，然后将其传输到 Impala 中进行客群圈选。完成圈选后，结果集需被重新读取回客群服务，并由其上传到对象存储中。...未来，我们计划在 3.0 版本中，实现离线标签和实时标签的混合圈选功能，并依托 Doris 进行 OneID 实时计算。
圈选对军事感兴趣的人群并用于Push应用背景：运营人员每天会整理当前俄乌冲突热门事件并通过Push推送给对军事感兴趣的用户，刚开始主要通过手动的方式在画像平台创建人群，然后导入到Push平台进行推送。...应用方式：调研人员通过画像平台LBS人群圈选功能找到了几所高校附近出现过的用户，并结合用户年龄段等标签提高了用户圈选的精确度。生成人群之后，私信平台可以通过接口拉取人群数据并进行私信推送。...以此类推，针对特定场合如医院、公园、电影院、旅游景点都可以进行精细化的人群圈选。3....基于组合人群赠送优惠券应用背景：三八妇女节当天电商平台会给女性用户赠送商品优惠券，主要通过画像平台的规则圈选找出所有女性用户并构建人群，当用户位于人群中时则赠送优惠券。...应用方式：在画像平台上通过规则圈选创建女性用户人群A，通过文件导入的方式创建黑产用户人群B，通过组合人群的方式创建人群A与B的差集人群C。
使用画像宽表圈人的逻辑是从明细数据中找到满足条件的用户并最终构建人群，而使用BitMap进行圈人会对用户进行预聚合，在人群圈选时直接使用聚合后的结果进行计算。...首先将指定标签值下的所有用户聚合后生成BitMap，然后基于这些BitMap执行交、并、差操作实现人群筛选。图5-8展示了基于宽表和BitMap进行人群圈选的功能示意图，两种方式最终产出的人群相同。...BitMap特殊的数据结构决定了其适合做用户聚合并应用到人群圈选场景下。...基于宽表中全量用户的明细数据可以实现所有的人群圈选功能，但是采用BitMap方案的人群创建速度相比宽表模式可以提升50%以上。BitMap适用的标签类型和业务场景有限，要结合实际的数据进行判断。...业界一般使用混合模式，优先通过BitMap进行人群创建，不适用的场景下兜底使用画像宽表进行人群圈选。采用混合模式要考虑对齐画像宽表和BitMap的标签时间，这增加了工程的实现复杂度。
画像数据存储引擎是为了提高人群圈选速度，直接基于底层大数据原始表做人群圈选性能较差，需要借助画像数据存储引擎提高人群生产效率。...应用层：前端研发可以使用Vue搭建前端工程并开发可视化的画像平台功能；平台对外提供的服务均可以封装到SDK中，本书以Java语言为主，因此SDK主要以JAR（Java Archive，Java归档）包的形式存在...本节提到的技术选型主要偏重存储层涉及的画像引擎及画像分析相关技术方案，对应到功能层面上的人群圈选和画像分析功能。 阿里达摩盘是阿里妈妈广告投放平台，该平台可以进行人群圈选并应用于后续广告投放环节。...百度内部用户画像相关圈选和分析基本都是基于Doris实现的。知乎的画像圈选也借助了Doris，并把Spark作为一些特殊业务场景下人群圈选的计算引擎。...最近几年ClickHouse比较流行，今日头条DMP以及CDP均通过ClickHouse实现了人群圈选，借助ClickHouse的BitMap实现了人群圈选的提速；快手DMP在人群圈选场景下也借助ClickHouse
▍ 营销方案 这一类客户是目标用户，也可以看做是种子用户，通过相似人群扩散，可以扩散出最多100万这样的特征的目标用户群，然后通过广点通去触达这些相对较精准的目标用户群，实现低成本、高质量的拉新。
明确了人群需求后，数据的流程主要包括： 数据源准备： 圈选目标人群所需要的标签数据从哪里来?...火车票订单、酒店订单、红包卡券数据 标签生产： 按照场景人群逻辑，清洗加工标签 人群圈选： 以标签为限定条件，从全量用户中过滤圈选出目标人群 用户触达： 将用户数据传输到营销通道，对用户进行触达 效果评估...： 回收效果数据，持续优化人群圈选条件 3.2 CDP产品架构 CDP(CustomerDataPlatform)是基于用户实时数据标签，精准圈选目标用户并快速输出数据服务的数据产品，充分融合了低代码...标签列表 标签生产 (3)场景管理 运营场景的构建是将业务运营动作拆解成数据标签、人群圈选需求，基于标签和判断条件，将用户划分成一个个精细化的人群包，不同人群承接差异化的运营策略。...(4)人群画像 不同人群的用户画像构成是怎么样的，不同特征的用户，对运营转化的效果是否相同呢?人群画像的应用价值一是人群圈选过程中确定是否满足运营需求，二是事后效果分析时，不同特征用户进行对比分析。
整体来看，平台支持灵活的标签及人群创建方式，使用者按照自己的想法任意圈选出想要的人群，按不同周期手动或自动选出人群包。此外也支持人群的跟踪分析，人群在多场景的应用等。...画像应用：提供基础标签分析及针对特定人群的标签分析，另外还提供人群圈选跟踪分析及线上应用等。...支持灵活的标签及人群创建方式，让客户能按照自己的想法任意圈选出想要的人群，按不同周期手动或自动选出人群包，支持人群的跟踪分析、人群在多场景的应用能力。...4.3 人群创建 4.3.1 人群实时创建 人群包实时创建类似上面描述的人群大小实时预估，区别是在最后人群创建是需要将圈选的人群包用户明细写入到存储中，然后返回人群包的大小给到用户。...4.4 人群跟踪应用 4.4.1 人群跟踪分析 在按照用户规则圈选出人群后，统一对人群进行常用指标（如活跃、交易等指标）的跟踪。
平台为业务人员提供海量标签，支持快速圈选目标人群，同时提供精细化人群画像洞察能力，联动多渠道进行推送，并支持人群效果的数据查看，助力业务人员进行全链路用户运营。...04 用户画像平台能力 在平台建设层面，自如用户画像平台能力包含人群圈选，人群洞察、人群营销、营销效果分析，支持全链路定向用户营销。...人群圈选：通过人群圈选可进行精细化用户分层，而用户分层是个性化营销的基础。画像平台支持标签组合、分群组合以及 ID 数据上传 3 种方式，适应营销人员在不同场景下的圈选需求。...人群营销：支持 push/短信/优惠券等方式进行定向用户营销，例如圈选北京 7 日活跃用户，推送中秋礼包活动，进行节日关怀；圈选解约业主，通过短信活动触达，进行业主召回；自如的人群包对接至家服 CRM...04 小结 本次分享到此结束，希望你通过本文的学习能了解，对于产品、运营、分析师、客服等各个角色掌握用户画像的重要性；并且掌握画像平台能力建设：标签体系、人群圈选、人群洞察、人群营销、营销效果、标准接口
规则圈选是按照指定条件从画像数据中找到满足要求的用户并沉淀为人群的一种常见的人群创建方式。所谓的规则就是条件的组合，比如北京市男性用户，最近一周平均在线时长介于2到10分钟之间的中老年用户。...人群创建引擎读取到规则人群配置信息后，首先判断是否适合通过BitMap实现人群圈选，如果适合，可以获取标签的BitMap在内存中进行交、并、差操作；不适合BitMap实现的可以兜底通过ClickHouse...画像宽表进行人群筛选，其实现逻辑是将人群圈选条件转变为SQL语句，借助ClickHouse引擎查询出所有满足条件的UserId并构建人群；当ClickHouse执行异常时会再次兜底从Hive表中筛选用户...，同理，人群圈选条件最终转换为Hive SQL语句并最终将执行结果构建为人群。...基于BitMap进行人群圈选主要分为两步，第一步是从ClickHouse中读取标签BitMap，第二步是在内存中进行BitMap的交并差运算，其实现语句如下所示。
人群LookALike是给定种子人群，然后通过技术手段找到与该种子人群相似的用户群体。...借助画像数据对种子人群进行特征分析并找出其主要标签特征，比如种子人群标签特征趋向于：性别男、年龄30至40岁、兴趣爱好－军事，那么可以把非种子人群中的所有30-40岁之间爱好军事的男性用户圈选出来作为目标人群...图片基于分类算法计算相似人群。把种子人群当作正样本，其他非种子人群（或者其他人群）当作负样本，通过训练分类模型计算出满足条件的用户并构建目标人群。...目前也有利用社交网络进行人群LookALike的实践方案，通过好友关系找到种子人群中所有用户的几度好友并构建目标人群。挖掘人群是指定优化目标，借助算法能力找到满足要求的用户并构建人群。...人群挖掘的思路是先找到训练样本（种子人群），然后通过LookALike的思路扩展种子人群。该方式与人群LookALike不同的是，人群挖掘的结果中可以包含种子人群中的用户数据。
但是昨晚逛朋友圈看到该课程的一个学生在他的公众号：《 医学僧的科研日记》，写了一个笔记：突变特征(Mutational signatures)，让我很感动，就翻了翻 他的朋友圈，发现一个超级有意思的图及配文《朋友圈选美大赛
导入人群是将外部数据导入画像平台构建人群，主要有3种实现方式：文件导入、Hive表导入和SQL导入。...Hive导入和SQL导入方式创建的人群数据直接存储到Hive表中，后续需要通过HiveToBitmap将人群数据写入BitMap并存储在OSS中。...与Hive导入人群方式不同，文件导入优先生成人群BitMap，之后再通过BitMapToHive过程写入到人群结果Hive表中。...导入人群是画像平台最常用的人群创建方式之一，其实现了将各类数据源沉淀为人群的功能，支持更灵活的人群创建方式，拓展了画像平台数据范围。...比如运营人员将某次活动中表现良好的用户导入画像平台并构建成人群，后续可以进行广告投放或者人群分析；数据分析师离线统计出了一批高价值用户，导入平台构建人群后可以直接提供给业务使用。
1、人群创建 人群创建即找到满足条件的用户并构建人群，根据圈选方式的不同可以分为规则、导入、组合、行为明细圈选等多种方式。...基于规则圈选创建人群：画像平台底层存在大量的画像标签，可以直接基于标签间的交、并、差操作进行人群圈选，比如圈选出常住省是北京且性别为男性的用户；最近一个月送礼次数超过5次且爱好军事的用户；常住省是天津或者上海...规则人群圈选是一种最常见、简单且易理解的人群圈选方式，图2-6展示了规则人群圈选的功能示意图，可以基于已有属性和用户行为数据进行人群创建。...基于行为明细的人群圈选：行为圈选是基于用户的行为明细数据进行圈选，其数据粒度较细且与时间紧密相关，基于这一特点，可以实现行为次数统计和行为序列圈选。...上面是几种常见的人群圈选方式，但是不同场景下对于人群圈选方式的要求不同，下面再介绍两种特殊场景下的人群圈选方式。 人群LookALike：人群LookALike是借助算法能力实现人群的放大与缩小。
什么是RTARTA即Realtime API的简称，用于满足广告主实时个性化的投放需求，这里的实时是指API接口实时调用，比如定向人群包圈选可能都是T+1，甚至T+2。...2.广告主RTA人群圈选，营销目标，比如拉新、促活，用户分析。3.广告主离线算法模型，通过算法模型进行人群圈选输出。4.接口性能，因为API实时接口调用，接口调用要求较高，50ms-100ms。
设备号归因主要应用在付费广告投放中，目前在业界使用比较广泛且技术比较成熟，主要根据用户安装时的IMEI/OAID/IDFA等进行归因；渠道包归因将渠道信息打包到安装包中，当用户安装带有渠道号的App时便可以归因到具体的投放渠道...根据新用户归因结果构建“用户来源”标签，使用该标签可以进行人群圈选和画像分析。构建新用户渠道分析看板，支持按时间范围查看各渠道新增用户量变化趋势，支持查看不同渠道新增用户的画像分布。...为了满足灵活的人群圈选需求，在画像平台需要新增“距今最近一次活跃天数”标签，该标签属于离线统计类标签，其标签数值表达了用户最近一次活跃距离当前的天数。...画像平台数据研发工程师可以根据用户每日活跃明细数据统计生产出该标签，标签生产完成后注册到画像平台并配置其支持人群圈选功能。...该标签支持按数值范围筛选用户，比如筛选出距今最近一次活跃天数在15天到30天内的用户；人群圈选过程中还可以结合其他标签进行精细化筛选，比如找出指定地域、年龄段下最近未活跃的用户。
本节主要介绍人群创建所依赖的画像宽表的生成方式。为什么要创建画像宽表？基于原始的标签数据表进行人群圈选有什么问题？如何生成画像宽表？针对这些问题本节会给出详细解答。...当用户圈选需求涉及任意N天的用户行为时，只能通过存储历史标签数据来解决。 支持跨时间的人群分析。...如果画像平台用户对于人群圈选的速度没有要求，直接基于Hive表进行计算是可行的。...但是有些业务对人群圈选速度有比较高的要求，比如热点运营团队，当热点事件出现之后，需要能够以最快的速度找到目标用户并推送Push消息，此时直接从Hive表中圈选用户便不再满足业务需求。...ClickHouse也比较擅长做宽表分析，基于这一特点可以把其作为Hive表的“缓存”使用，从而满足人群圈选和人群分析的提速。
3、业务实现 在搭建了人群圈选引擎之后，我们重点改造了我们的消息推送系统，作为人群精细化运营的一个重要落地点。 3.1 闲鱼消息推送简介 消息推送(PUSH)是信息触达用户最快捷的手段。...实时计算层：根据人群的筛选条件，从用户大宽表中，查询符合的用户数量和用户ID列表，为应用系统提供服务。 人群圈选前台系统：提供可视化的操作界面。...闲鱼PUSH系统：从人群圈选前台系统中获取人群对应的where条件，再从实时计算层，分页获取用户列表，给用户发送PUSH。在实现过程中，我们重点解决了分页查询的性能问题。...人群圈选系统为闲鱼精细化用户运营提供了强有力的底层能力支撑。同时，圈选人群，也可以应用到其他的业务场景，比如首页焦点图定投等需要分层用户运营的场景，为闲鱼业务提供了很大的优化空间。...5、未来 人群圈选引擎中的用户数据，我们目前是T+1导入的。这是考虑到人群相关的指标，变化频率不是很快，且很多指标(比如用户标签)都是离线T+1计算的，因此T+1的数据更新频度是可以接受的。
基于这种单表结构，可以很容易筛选出满足条件的用户，比如找到所有常住省为山东的男性用户；人群分析功能可以基于表中的指定标签列进行聚合操作来实现，比如统计所有省份的用户分布情况。...这一特点决定了该模型不支持精细化的基于行为数据的画像圈选和分析，比如圈选出1号到4号点赞过某视频的用户。...但很多场景并不关注与时间相关的明细行为数据，比如DMP平台中人群圈选大部分都是使用离线标签，用户模型比较符合此类场景。 为什么要把标签数据汇总到一张宽表中？...基于用户－行为模型，可以结合用户属性类标签和行为标签实现更加复杂的人群圈选和分析功能，比如圈选出3月1日到3月24日之间，平均在线时长超过1000秒的河南省男性用户；针对给定人群，分析其从3月15日到3...基于行为明细数据可以实现更加细致的人群圈选和分析功能，比如圈选出3月1日到3月7日，中午12：00到14：00之间，使用Android系统进行登录的河南省女性用户；筛选出3月24日登录2小时之内发生了点赞行为的用户
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
