算法入侵，不如拥抱、打造更好的个性化推荐系统？
算法入侵，不如拥抱、打造更好的个性化推荐系统？
不知道你们意识到没有，我们生活在一个
算法入侵人类的时代
❤️✖️?
此时此刻，算法正在监视着你。她们监视你去哪里、买了什么、遇见了谁，包括你的每一次呼吸、每一次心跳。
算法通过大数据和机器学习来更好地了解你。算法一旦比你更了解你自己，她们就能控制和操纵你，而你将对此无能为力。
刷头条、抖音，逛淘宝，时时刻刻都有推荐系统的参与，猜一猜你喜好，给你推荐可能购买的商品。推荐系统，就是这么一种算法，不断地给你推荐相似的东西。个性化推荐是诸多内容网站和应用的关键技术，可以减轻用户信息过载、提升内容的点击率。
典型的推荐系统流程
? 推荐系统的商业价值
我们知道构建推荐系统是非常复杂的，它需要大量的人员、技术和资金的投入。如此巨大的投入值得吗？来看一组数据：
□ Netflix客户观看的电影有2/3是由推荐系统推荐的。
□ Google新闻上有38%的点击是由推荐链接。
□ 亚马逊35%的销售量来自所推荐的产品。
□ ChoiceStream销售数据：有28%的用户通过推荐系统购买喜欢的音乐。
这就是基本所有数字化产品都要搭载推荐系统的原因所在，实在是太有用了！
? “作恶”的推荐系统
当企业意识到推荐系统对商业增长的巨大价值，情况就变得不怎么美好了，技术被滥用。正如Eli Pariser于2010年在《别让算法控制你》中提出的过滤气泡所说，用户沉浸在符合自己偏好的信息世界中，难以主动突破壁垒寻找新的信息。
过滤气泡
根据用户的使用时间、地区及浏览习惯生成用户画像，并通过算法推荐技术为其呈现独一无二的界面体验的一整套技术。
其实不然，“作恶”的原因是设计推荐系统的出发点是为了追求商业价值的增长。
? “向善”的推荐系统
个性化推荐技术也可以被使用在非常正义的事情上。我们看最近的一则新闻：
一名因寻衅滋事潜逃达半年之久的疑犯，与朋友吃饭唱歌时被拍成了短视频，被民警无意看到。警方通过对短视频内的场景寻线追踪，成功将这名涉案嫌疑人抓获。
基于lbs，个性化推荐系统给了这位民警可能会感兴趣的短视频，然后果然是相关性非常高，成功追踪到了嫌犯。我们稍微梳理下，推荐系统应用于破案中的使用：警方通过输入疑犯的特征，包括体型、肖像、出没场所、其他特征，推荐引擎从海量的视频中寻找线索，然后结构化结果，辅助警方破案。
推荐系统，还有更多有价值的应用场景。
知识引擎
个性化搜索=搜索引擎+推荐系统
?✖️?
信息检索使用最广泛的是搜索引擎，需要用户主动提供准确的关键词来寻找信息。但是当用户无法提供准确描述自己需求（兴趣）的关键词时，搜索引擎就无能为力了。
而推荐系统则不需要用户提供明确的需求，它是通过分析用户的历史行为建模，从而主动推荐给用户能够满足他们需求（兴趣）的信息。
可以说，推荐系统和搜索引擎对于用户来说是两个互补的工具。
两者结合，按先后顺序，一种情况是搜索引擎对推荐系统的结果进行重新排序，以过滤掉不相关的推荐，并推送与query匹配的物品。另外一种是搜索引擎返回最佳匹配的候选集，再由推荐系统重新排序，以更好地适应每个用户的需求（兴趣）。
不同用户得到不同的搜索结果
两种结合方式
推荐系统和搜索引擎两者结合，应用在学习上，因材施教，帮助用户遇见更好的自己，变得具有长远价值。
首先，我们需要回答下：学习的目的是什么？考试？跳槽？升职？
孔子有句：三年学，不至于谷，不易得也。说的是一般人跟随孔子求学的目的，不是为了学问本身，而是为了功名利禄。
南怀瑾为我们阐明了教育的最高目的——培养人性。因为人心不同，各如其面，人与人的差距在于人性，教育是我们培养人性的途径，学习使我们修身养性、明辨是非，遇见那个不曾遇见的更好的自己。
其次，学习和娱乐的关系。学习就像我们平时除了工作之外，还要玩游戏、看电视，休闲娱乐一样，娱乐为的是放松，学习为的是增长。
基于以上2点，我在早些年参与了一款产品：知识引擎。知识引擎是什么？以美食作为类比，对标知识领域的产品：
樊登读书会就是在快餐和小炒之间。
混沌研习社就是卖厨子的个人IP，
得到就是一条美食街。
知识引擎更像是自助餐。
在自助的方式下，我们使用人工智能技术，让这一过程更加便捷和容易。知识引擎帮助用户把个人的知识进行重构、链接。
具体来讲，知识引擎不像今日头条、抖音之类的个性化推荐，会不断给你推荐你所关心的内容，从而促成交易。
知识引擎更关注你的知识短板，帮助补齐个人知识网络中的空缺部分，从而不断拓展知识边界。知识引擎是一个推动用户学习的引擎，帮用户加速学习，拓展用户的知识边界。
除了学习，在学术研究方面，推荐系统大有作为。
发现艺术品之间的隐藏联系
基于相似性的推荐系统
一款名为MosAIc的AI系统，可在百万幅画作中寻找，并在主题、图案和视觉样式中找到意想不到的相似之处。
MosAIc找到了荷兰双面印度榕树（一种来自18世纪末的匿名服装），发现它与中国陶瓷雕像相似。这种联系可以追溯到16世纪和20世纪之间瓷器和肖像画从中国到荷兰市场的流动。推荐系统，帮助我们更好地研究历史，发现线索。
⚔ 如何打造优秀的推荐系统？
? 增加库存，提高推荐效率
user x item
库存的多样性、数量，决定了推荐的效率。
我们需要知道，千人千面的个性化推荐并不适合于内容多样性不足的产品（item）。推荐需要有大量的库存（item），电影封面图的推荐就是非常适合的场景，封面图从电影中自动提取，库存数量足够多。
不同用户有不同的浏览历史，通过个性化推荐技术，为每位用户推荐她/他所喜欢的电影封面图。如下所示，左边是一位用户过去看的三个内容。箭头的右边是Netflix推荐给会员的一部电影的封面图。
Netflix个性化封面图
数字产品的好处就是库存内容似乎不是瓶颈，我们看看另一个例子，希音SHEIN。
SHEIN 的衣服，能让用户在这里找到所有想要的款式。数量上，每日上新多达2.8w。款式多样性上，比如用户想要一款红色的连衣裙，就可以搜出多达 5000 多个款式。同样一件红色裙子，有深红、浅红、粉红等同色系之分，此外，还有蝴蝶袖、泡泡袖、无袖等款式区别，长度、面料、花纹、身型等细分选项，以满足各种用户的需求或偏好。
数量上
多样性上
? 使用嵌入表示技术
embedding
嵌入的概念最初是NLP领域的单词表示方法，通过使用神经网络来得到单词的低维表示。嵌入模型已被证明，经过大型文本数据进行训练后，在许多语言任务中可以获得最先进的性能。
NLP的嵌入模型是通过考虑词序和它们的共现性来训练的，这里基于一个假设，即句子中经常出现在一起的单词也具有更多的统计相关性。
来自Web搜索、电子商务和市场等其他领域的研究人员意识到，就像可以通过将句子中的单词序列作为上下文来训练单词嵌入一样，也可以通过将用户操作序列作为上下文来训练用户操作的嵌入。
例如，学习物品点击（购买或查询）的嵌入表示。这些嵌入可以被用于各种推荐场景。
Airbnb房屋的嵌入表示。假设我们给定一个数据集，目的是学习一个32维的向量表示每个房屋，每个房屋都是不一样的，同时，类似的房屋在嵌入空间中距离比较近。
Airbnb上有百万级的房屋出租，用户通过搜索生成的结果来寻找喜欢的房屋。一旦用户查看了某个房子，通过相似推荐，可以继续浏览类似的房子，不断地重复搜索、寻找相似结果，最终完成转化。搜索排名和相似房屋推荐驱动了airbnb的99%订单转化。
? 什么样的UI，适合承载推荐体验？
design
网易云音乐的歌单推荐，动静结合。左边的卡片，右上角有一个小的♾️图标，可以源源不断地推荐歌单给用户，类似于轮播的效果，而右侧的卡片可以相对静态。
动静结合的小卡片
引用熊叔给的例子。给个足够让用户信服的推荐理由。推荐理由提升了推荐系统的透明性，让用户明白为什么会推荐该种类型的内容。站在业务的角度，会更多的从促成转化入手，即什么样的推荐理由可以增加说服力，引发用户认同。
各种推荐理由
Pinterest的通过首页瀑布流的方式，为用户推荐各种用户可能喜欢的图片。
另外，pinterest还通过每日的邮件推送。通过标题、正文的文案（拟人），营造一种AI为用户写邮件推荐图片的感觉。
除此之外，我们还需要告知用户如何训练更好的推荐系统。
? 训练指南
guide
例如，Spotify为用户写的指南，注意文案的易懂性，尤其不能写得太过于技术。
- 如果你不喜欢一首歌，在 30 秒之前跳过它。30s 是个关键节点，如果在30秒之前跳过一首歌，相当于算法给它点了?。
- 听听新歌手和他们的音乐。这样算法就可以更好地学习你的行为模式。
- 提供你的年龄和位置信息。算法会根据你的年龄和地理位置推荐不同的音乐。
- 保持耐心。算法会忽略一些突然间出现的行为。所以新的收听行为可能不会立即导致你的播放列表发生变化。
从技术到设计，码了这么多字?，
算法那么好，为何还要反算法？
你们说呢？❤️
腾讯云开发者
