场景：适合HR、财务、销售部门的数据整理类办公人士 问题：如何圈选大于2000或小于800的数据？...解答：这个问题咋一看，好像用条件格式也可以搞定，不过本例我们介绍更快的方法 ，数据有效性的圈选无效法。...具体操作如下：选中下表中Week Number的区域，单击“数据-数据验证”（2013以下版本叫数据有效性）。（下图2处） ?...效果如下：大于2000，和小于800的数据都会被圈选。 ?...总结：数据验证（数据有效性），是一个对Excel单元格进行”限制“控制的重要功能，对于需要用Excel文档进行模版设计和业务管理，是非常重要的。 该技巧Excel2007版本以上有效。
整体来看，平台支持灵活的标签及人群创建方式，使用者按照自己的想法任意圈选出想要的人群，按不同周期手动或自动选出人群包。此外也支持人群的跟踪分析，人群在多场景的应用等。...支持灵活的标签及人群创建方式，让客户能按照自己的想法任意圈选出想要的人群，按不同周期手动或自动选出人群包，支持人群的跟踪分析、人群在多场景的应用能力。...4.2 人群包实时预估 人群包实时预估是根据使用者客户定义的规则，计算出当前规则下有多少用户命中了该规则。...4.2.3 数据查询 数据查询方式：人群圈选过程中，如何保障大的APP查询、在复杂规则情况下的查询速度？团队在导入过程中对预置画像、平台行为、自定义上报行为，均按相同分桶规则导入集群。...4.3 人群创建 4.3.1 人群实时创建 人群包实时创建类似上面描述的人群大小实时预估，区别是在最后人群创建是需要将圈选的人群包用户明细写入到存储中，然后返回人群包的大小给到用户。
判存服务在业务中的使用也比较广泛，比如运营人员在画像平台上圈选了“游戏高转化”人群，对于人群中的用户需要在客户端上显示游戏入口从而引导用户进入游戏宣传页并下载应用，该需求可以通过人群判存服务来实现。...图片以方案二为例，如何将人群数据写入Redis支持判存？...以UserId人群为例，使用BitMap实现人群判存的思路比较简单。...以DeviceId为例，在本章介绍规则圈选时提到可以通过编码的形式将所有DeviceId映射到数字ID，在人群圈选过程中通过该数字ID替代真实的DeviceId。...以北京市男性用户为例，前两种方案需要先实际圈选出人群，如果用户判存结果为真则代表其属于北京市男性用户；基于规则的判存只需要查询用户的常住省和性别标签值，如果结果中省份是北京市且性别是男性，那同样代表该用户属于北京市男性用户
使用画像宽表圈人的逻辑是从明细数据中找到满足条件的用户并最终构建人群，而使用BitMap进行圈人会对用户进行预聚合，在人群圈选时直接使用聚合后的结果进行计算。...首先将指定标签值下的所有用户聚合后生成BitMap，然后基于这些BitMap执行交、并、差操作实现人群筛选。图5-8展示了基于宽表和BitMap进行人群圈选的功能示意图，两种方式最终产出的人群相同。...BitMap特殊的数据结构决定了其适合做用户聚合并应用到人群圈选场景下。...BitMap来支持人群圈选。...业界一般使用混合模式，优先通过BitMap进行人群创建，不适用的场景下兜底使用画像宽表进行人群圈选。采用混合模式要考虑对齐画像宽表和BitMap的标签时间，这增加了工程的实现复杂度。
应用层：前端研发可以使用Vue搭建前端工程并开发可视化的画像平台功能；平台对外提供的服务均可以封装到SDK中，本书以Java语言为主，因此SDK主要以JAR（Java Archive，Java归档）包的形式存在...美团和滴滴的实现方案比较相似，在人群圈选中主要使用的是Elasticsearch和Spark引擎，Elasticsearch可以快速找到筛选逻辑比较简单的人群，当涉及复杂的圈选逻辑时可以降级为Spark...Apache Doris源于百度，在百度内部使用也比较广泛。百度内部用户画像相关圈选和分析基本都是基于Doris实现的。...知乎的画像圈选也借助了Doris，并把Spark作为一些特殊业务场景下人群圈选的计算引擎。...最近几年ClickHouse比较流行，今日头条DMP以及CDP均通过ClickHouse实现了人群圈选，借助ClickHouse的BitMap实现了人群圈选的提速；快手DMP在人群圈选场景下也借助ClickHouse
创建 在npm的官网上注册一个账号，https://www.npmjs.com/ 1：在本地通过npm init 初始化一个项目，并建一个index.js 文件，因为index.js为默认进入的文件，如下...： 2：在本地将该创建的项目打开，并在index.js编写想要写的文件(这里简单写一个排序)，如下： 3：接下来通过npm login来登录你之前创建的npm账号，如下： 4：npm pubish...使用 npm install 包名 三. 版本更新 更改版本号 重新发布 四. 删除某个版本 npm unpublish 包名@版本号
以酒店预定后推荐周边景区的交叉推荐场景为例，转化成标签需求就是，近X天有酒店待入住订单，且无景区成功单，红包卡券账户中无未使用优惠券。...明确了人群需求后，数据的流程主要包括： 数据源准备： 圈选目标人群所需要的标签数据从哪里来?...(2)标签管理 标签资产的建设和管理是CDP平台的核心部分，没有标签再顺畅的流程、丝滑的体验，也不会有业务使用。...标签列表 标签生产 (3)场景管理 运营场景的构建是将业务运营动作拆解成数据标签、人群圈选需求，基于标签和判断条件，将用户划分成一个个精细化的人群包，不同人群承接差异化的运营策略。...人群画像的应用价值一是人群圈选过程中确定是否满足运营需求，二是事后效果分析时，不同特征用户进行对比分析。
本节主要介绍人群创建所依赖的画像宽表的生成方式。为什么要创建画像宽表？基于原始的标签数据表进行人群圈选有什么问题？如何生成画像宽表？针对这些问题本节会给出详细解答。...宽表的表结构稳定，基于宽表进行的人群创建过程不受上游表变动影响 数据对齐 每个标签源数据表所能覆盖的用户范围不同，A标签仅覆盖日活用户、B标签仅覆盖新增用户、C标签覆盖全量用户，这三个标签混合使用时会造成数据混乱...本书技术方案支持多日期画像数据下的人群圈选等功能，自然兼容单日期下的各类功能。 画像宽表生成 画像宽表的表结构已经明确，那如何生成宽表数据？...如果画像平台用户对于人群圈选的速度没有要求，直接基于Hive表进行计算是可行的。...ClickHouse也比较擅长做宽表分析，基于这一特点可以把其作为Hive表的“缓存”使用，从而满足人群圈选和人群分析的提速。
平台为业务人员提供海量标签，支持快速圈选目标人群，同时提供精细化人群画像洞察能力，联动多渠道进行推送，并支持人群效果的数据查看，助力业务人员进行全链路用户运营。...对标签体系建设感兴趣的，可查看草帽小子之前写的《如何构建标签体系？》《干货 | 阿里/网易/汽车之家画像标签体系》等文章进行深入了解，在此我就不再展开。...人群圈选：通过人群圈选可进行精细化用户分层，而用户分层是个性化营销的基础。画像平台支持标签组合、分群组合以及 ID 数据上传 3 种方式，适应营销人员在不同场景下的圈选需求。...人群营销：支持 push/短信/优惠券等方式进行定向用户营销，例如圈选北京 7 日活跃用户，推送中秋礼包活动，进行节日关怀；圈选解约业主，通过短信活动触达，进行业主召回；自如的人群包对接至家服 CRM...例如：圈选 “北京、近 7 天、找房行为次数>3 的用户” 给其推送了优惠券，监控其营销效果，可再次圈选对优惠券有点击行为的用户，对其发送使用提醒，或是给其赠送其他服务，从而实现更进一步细分人群的营销。
1、业务背景 随着闲鱼业务的发展，用户规模达到数亿级，用户维度的数据指标，达到上百个之多。如何从亿级别的数据中，快速筛选出符合期望的用户人群，进行精细化人群运营，是技术需要解决的问题。...计算规格来构建人群圈选引擎。...人群圈选前台系统：提供可视化的操作界面。运营同学选择筛选条件，保存为人群，用于分析或者发送PUSH。每一个人群，对应一个SQL存储。...人群圈选系统为闲鱼精细化用户运营提供了强有力的底层能力支撑。同时，圈选人群，也可以应用到其他的业务场景，比如首页焦点图定投等需要分层用户运营的场景，为闲鱼业务提供了很大的优化空间。...5、未来 人群圈选引擎中的用户数据，我们目前是T+1导入的。这是考虑到人群相关的指标，变化频率不是很快，且很多指标(比如用户标签)都是离线T+1计算的，因此T+1的数据更新频度是可以接受的。
创建 在npm的官网上注册一个账号，https://www.npmjs.com/ 1：在本地通过npm init 初始化一个项目，并建一个index.js 文件，因为index.js为默认进入的文件，如下...： image-ab2ede5fb9d14ab8bb059eb63257c67c.png 2：在本地将该创建的项目打开，并在index.js编写想要写的文件(这里简单写一个排序)，如下： image...-1dc4644452b844869943897ce6cfd223.png 3：接下来通过npm login来登录你之前创建的npm账号，如下： image-4841e3bdae0d4096a9f8fd6c903c0720...使用 npm install 包名 三....删除某个版本 npm unpublish 包名@版本号
产品需求是基于这张宽表可以实现人群圈选功能：用户通过可视化的页面选择标签并配置筛选条件，系统可以快速找到满足条件的用户并生成人群。...可以通过Hive JDBC连接HiveServer并提交SQL语句，这种开发模式和使用传统的MySQL数据库比较相似，工程上可以快速上手且开发效率较高。解决了SQL执行问题，那查询结果如何存储为人群？...人群圈选的初衷是找到所有满足条件的用户，可以把用户筛选语句直接交由ClickHouse引擎执行。...为了满足Hive表形式的人群使用需求，后续还可以将人群BitMap落盘到人群结果Hive表中。...如图9-7所示，人群圈选功能的实现已经从单纯的Hive查询转变为ClickHouse查询优先、失败后Hive兜底的方式，人群圈选速度提升明显，人群产出时间从几十分钟降低到几分钟。
平台为业务人员提供海量标签，支持快速圈选目标人群，同时提供精细化人群画像洞察能力，联动多渠道进行推送，并支持人群效果的数据查看，助力业务人员进行全链路用户运营。...人群圈选：通过人群圈选可进行精细化用户分层，而用户分层是个性化营销的基础。画像平台支持标签组合、分群组合以及 ID 数据上传 3 种方式，适应营销人员在不同场景下的圈选需求。...人群营销：支持 push/短信/优惠券等方式进行定向用户营销，例如圈选北京 7 日活跃用户，推送中秋礼包活动，进行节日关怀；圈选解约业主，通过短信活动触达，进行业主召回；自如的人群包对接至家服 CRM...例如：圈选 “北京、近 7 天、找房行为次数>3 的用户” 给其推送了优惠券，监控其营销效果，可再次圈选对优惠券有点击行为的用户，对其发送使用提醒，或是给其赠送其他服务，从而实现更进一步细分人群的营销。...04 小结 本次分享到此结束，希望你通过本文的学习能了解，对于产品、运营、分析师、客服等各个角色掌握用户画像的重要性；并且掌握画像平台能力建设：标签体系、人群圈选、人群洞察、人群营销、营销效果、标准接口
1、人群创建 人群创建即找到满足条件的用户并构建人群，根据圈选方式的不同可以分为规则、导入、组合、行为明细圈选等多种方式。...基于规则圈选创建人群：画像平台底层存在大量的画像标签，可以直接基于标签间的交、并、差操作进行人群圈选，比如圈选出常住省是北京且性别为男性的用户；最近一个月送礼次数超过5次且爱好军事的用户；常住省是天津或者上海...规则人群圈选是一种最常见、简单且易理解的人群圈选方式，图2-6展示了规则人群圈选的功能示意图，可以基于已有属性和用户行为数据进行人群创建。...基于行为明细的人群圈选：行为圈选是基于用户的行为明细数据进行圈选，其数据粒度较细且与时间紧密相关，基于这一特点，可以实现行为次数统计和行为序列圈选。...上面是几种常见的人群圈选方式，但是不同场景下对于人群圈选方式的要求不同，下面再介绍两种特殊场景下的人群圈选方式。 人群LookALike：人群LookALike是借助算法能力实现人群的放大与缩小。
圈选对军事感兴趣的人群并用于Push应用背景：运营人员每天会整理当前俄乌冲突热门事件并通过Push推送给对军事感兴趣的用户，刚开始主要通过手动的方式在画像平台创建人群，然后导入到Push平台进行推送。...应用方式：调研人员通过画像平台LBS人群圈选功能找到了几所高校附近出现过的用户，并结合用户年龄段等标签提高了用户圈选的精确度。生成人群之后，私信平台可以通过接口拉取人群数据并进行私信推送。...应用方式：在画像平台上通过规则圈选创建女性用户人群A，通过文件导入的方式创建黑产用户人群B，通过组合人群的方式创建人群A与B的差集人群C。...使用人群拆分功能支持外呼对比实验应用背景：智能外呼团队为了测试不同话术在外呼效果上的差异，对于同一个外呼人群需要随机平均拆分成4个子人群，然后针对不同子人群中的用户采用不同话术进行外呼，最终通过对比外呼效果来选出最佳话术...人群判存在新功能引导上的使用应用背景：客户端应用中增加了网页小游戏功能模块，为了测试该模块的实际运行状况并评估用户的喜爱程度，产品经理希望前期仅面向种子人群开放小游戏功能入口。
规则圈选是按照指定条件从画像数据中找到满足要求的用户并沉淀为人群的一种常见的人群创建方式。所谓的规则就是条件的组合，比如北京市男性用户，最近一周平均在线时长介于2到10分钟之间的中老年用户。...人群创建引擎读取到规则人群配置信息后，首先判断是否适合通过BitMap实现人群圈选，如果适合，可以获取标签的BitMap在内存中进行交、并、差操作；不适合BitMap实现的可以兜底通过ClickHouse...画像宽表进行人群筛选，其实现逻辑是将人群圈选条件转变为SQL语句，借助ClickHouse引擎查询出所有满足条件的UserId并构建人群；当ClickHouse执行异常时会再次兜底从Hive表中筛选用户...目前最新的ClickHouse版本中也支持自定义UDF函数，可以将上述步骤封装为UDF函数后直接使用。...Hive表中的人群数据主要用于离线数据分析场景，很多业务使用人群之后需要通过人群结果表进行效果分析。图5-13展示了人群结果表的表结构设计，人群crowd_id作为分区键，分区下包含该人群所有用户。
下面介绍下常用的部分参数： 下面介绍一些具体的命令： 抓取指定网卡上的包，并以ASCII形式打印包内容： tcpdump -i eth0 -A 抓取指定网卡的包，并写入eth0-package.pcap...1.1.1.1的包，并打印 tcpdump -A -vvv -i eth0 dst host 1.1.1.1 # 抓取发送给1.1.1.1和2.2.2.2udp协议且端口为5060的包，然后打印包内容...，它用法与tcpdump差不多，下面介绍几个常用的方法： # 抓取eth0网卡上含有ip地址1.1.1.1的包 ngrep -d eth0 host 1.1.1.1 # 抓取eth0网卡上80端口的包，...F10 选择显示的列，比如把通话时间列出来。 - 总结 - 以上三个工具各有特点，可以根据自己喜好和场景选用适合自己的。不过本人在使用中更喜欢用tcpdump工具，因为它更通用，资源占用也更小。...比如在大量通话压测的场景，为了分析是应用瓶颈造成包没收到，还是因为网络丢包造成应用没收到。这种情况下就需要用到tcpdump工具实时的将SIP信令的包全部抓取，并写入文件。
最近CDP平台新增了很多算法挖掘的标签，扩展了基于算法模型直接输出目标人群的场景，通过AB对比，算法圈选的目标人群的转化效果要好于运营基于经验、规则人工圈选的效果。...从上述案例可以看出，规则运营，需要具有具备良好的业务经验和一定的数据思维才能将目标用户识别条件标签化，主要特点如下： 优点 1.行动敏捷，明确运营场景以及人群圈选条件后，可以快速进行人群输出，是CDP平台运营可以自助圈选...2.基于模算法模型的人群圈选可以覆盖更多特征维度，用户分层能力更多样化、精细化。...3.针对冷启动的场景，依然需要运营规则的兜底方案，随着数据的不断积累，算法模型才能更好地发挥价值。 既然算法模型无法取代规则运营，现在强调数智化运营，这两者如何才能取长补短，相得益彰呢?...此外，也可以配合使用一些算法挖掘类的标签，如价格敏感度(推荐红包金额)，在做更进一步的差异化运营。 用户偏好类、行为预测类，运营策略多样化场景，算法为主，经验为辅。
设备号归因主要应用在付费广告投放中，目前在业界使用比较广泛且技术比较成熟，主要根据用户安装时的IMEI/OAID/IDFA等进行归因；渠道包归因将渠道信息打包到安装包中，当用户安装带有渠道号的App时便可以归因到具体的投放渠道...UA的重复性较高，所以使用该方式进行归因的精确度不高。...根据新用户归因结果构建“用户来源”标签，使用该标签可以进行人群圈选和画像分析。构建新用户渠道分析看板，支持按时间范围查看各渠道新增用户量变化趋势，支持查看不同渠道新增用户的画像分布。...后续使用该标签可以筛选出指定广告投放渠道下的用户群体并进行人群画像分析，比如找到所有腾讯广告带来的新增用户并分析其男女分布、平均在线时长、累计贡献价值等。...为了满足灵活的人群圈选需求，在画像平台需要新增“距今最近一次活跃天数”标签，该标签属于离线统计类标签，其标签数值表达了用户最近一次活跃距离当前的天数。
基于这种单表结构，可以很容易筛选出满足条件的用户，比如找到所有常住省为山东的男性用户；人群分析功能可以基于表中的指定标签列进行聚合操作来实现，比如统计所有省份的用户分布情况。...但很多场景并不关注与时间相关的明细行为数据，比如DMP平台中人群圈选大部分都是使用离线标签，用户模型比较符合此类场景。 为什么要把标签数据汇总到一张宽表中？...基于用户－行为模型，可以结合用户属性类标签和行为标签实现更加复杂的人群圈选和分析功能，比如圈选出3月1日到3月24日之间，平均在线时长超过1000秒的河南省男性用户；针对给定人群，分析其从3月15日到3...基于行为明细数据可以实现更加细致的人群圈选和分析功能，比如圈选出3月1日到3月7日，中午12：00到14：00之间，使用Android系统进行登录的河南省女性用户；筛选出3月24日登录2小时之内发生了点赞行为的用户...，然后分析其使用的网络类型分布情况。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
