链接：https://github.com/yik-cyber/SNFtool 总结 相似融合网络：聚合不同的基因数据类型 论文以计算机视觉多视图方式为启发，设计了一种图融合网络用于解决基因数据不能综合处理的困难。 本文考虑将患同一种癌症的病人组成一个群体，利用群体里面每个病人个体的不同基因数据分别构建不同的图，并设计了一个图融合方式，将不同的图融合成一个最终的图，最终的图包括了所有的基因信息数据，因此是一个综合的结果，利用该综合的结果进行聚类，可以将癌症分为不同的亚型，利用该综合结果进行回归任务，
无监督的大规模视觉语言预训练在各种下游任务上显示出不错的进步。现有方法通常通过每个模态的全局特征的相似性来模拟跨模态交互，或者通过视觉和文本token的交叉/自注意力来模拟细粒度交互。然而，交叉/自注意力在训练和推理方面的效率较低。
协同过滤推荐算法是诞生最早，并且较为著名的推荐算法。主要的功能是预测和推荐。算法通过对用户历史行为数据的挖掘发现用户的偏好，基于不同的偏好对用户进行群组划分并推荐品味相似的商品。协同过滤推荐算法分为两类，分别是基于用户的协同过滤算法(user-based collaboratIve filtering)，和基于物品的协同过滤算法(item-based collaborative filtering)。简单的说就是：人以类聚，物以群分。下面我们将分别说明这两类推荐算法的原理和实现方法。
本文简述一下搜索引擎的搭建过程，具体描述的搜索是文本类型的搜索，而非网页搜索。对于网页搜索的排序，需要有很多考虑，例如pagerank算法，会优先考虑web站点的重要性。文本搜索一般为关键词检索，再根据文本的相似性对搜索得到的文本进行重排序。搜索的方法有很多，排序的方法也有很多，本文介绍最简单的搜索引擎搭建。 搜索引擎在互联网信息爆炸的时代起到了重要的作用，帮助我们进行信息过滤、信息抽取等。本文使用百度知道数据进行实验，用户输入Query请求，系统返回最为相近的百度知道问题。数据预先通过web爬虫获取。下面
推荐的定义 推荐算法可以分为三大类，基于用户的，基于物品的和基于内容的，前两者均属于协同过滤的范畴，仅仅通过用户与物品之间的关系进行推荐，无需了解物品自身的属性。而几乎内容的推荐技术很有用，但是必须与特定领域相结合，比如推荐一本书就必须了解书的属性，作者，颜色，内容等等。但是这些知识无法转移到其他领域，比如基于内容的图书推荐就对推荐哪道菜比较好吃毫无用处。 所有mahout对基于内容的推荐涉及很少。 基于用户的推荐 算法 基于用户的推荐算法来源与对相似用户爱好的总结，一般过程如下： for (用户u尚未
作者：李加贝 (浙江工商大学) 方向：跨模态搜索 标题：A Contrastive Framework for Learning Sentence Representations from Pairwise and Triple-wise Perspective in Angular Space -- ACL2022 链接：https://aclanthology.org/2022.acl-long.336v2.pdf 虽然bert等预训练语言模型取得了巨大的成功，但直接使用它们的句子表征往往会导致在语义
本文是推荐算法理论系列的第一篇文章， 还是想从最经典的协同过滤算法开始。虽然有伙伴可能觉得这个离我们比较久远，并且现在工业界也很少直接用到原始的协同过滤， 但协同过滤的思想依然是非常强大，因为它借助于群体智能智慧，仅仅基于用户与物品的历史交互行为，就可以发掘物品某种层次上的相似关系或用户自身的偏好。这个过程中，可以不需要太多特定领域的知识，可以不需要物品画像或用户画像本身的特征，可以采用简单的工程实现，就能非常方便的应用到产品中。所以作为推荐算法"鼻祖"，我们还是非常有必要先来了解一下这个算法的。
聚类算法是一种无监督学习方法，用于将数据集中的样本划分为多个簇，使得同一簇内的样本相似度较高，而不同簇之间的样本相似度较低。在数据分析中，聚类算法可以帮助我们发现数据的内在结构和规律，从而为进一步的数据分析和挖掘提供有价值的信息。
基于用户行为数据设计的推荐算法一般称为协同过滤算法，实现方法有基于邻域、基于隐语义模型、基于图的随机游走算法等，目前使用最多的是基于邻域的推荐算法，基于邻域的推荐算法又分为基于物品推荐算法和基于用户推荐算法。
Hierarchical Clustering（层次聚类）是一种常用的无监督学习算法，用于将数据样本分成不同的类别或簇。该算法将数据样本看作是一个层次化的结构，在每个层次上不断合并最近的样本，直到所有样本都合并为一个簇或达到预设的聚类个数。Hierarchical Clustering算法不需要事先指定聚类个数，可以根据数据的结构自动划分成簇，因此被广泛应用于数据分析和模式识别领域。
作者简介：minlonglin，AI平台部Y项目组员工。2012年毕业于中国科学技术大学计算机科学与技术学院，读博期间主攻集成学习、类别不平衡分类等方向，期间曾在IEEE Transactions on Neural Networks and Learning Systems发表类别不平衡分类的相关论文。此前在TEG\内部搜索平台部(现改名为AI平台部)\智能算法组从事新闻推荐的点击率预估相关工作，现在AI平台部Y项目组，从事自然语言处理相关工作。 概述协同过滤算法是推荐系统中的最基本的算法，该算法不仅
Opera 成立于 1995 年，总部位于挪威奥斯陆，是全球领先的浏览器提供商及数字内容发现和推荐平台领域的先驱。20 多年来，数百万名用户通过 Opera 网页浏览器访问网站、阅读、进行创作以及使用其他网络娱乐功能。
1）聚类的核心概念是相似度（similarity）或距离（distance），有多种相似度或距离的定义。因为相似度直接影响聚类的结果，所以其选择是聚类的根本问题。
搜索即找到跟搜索词句很相似的文本，例如在百度中搜索"人的名"，结果如下 那么怎么评价两个文本之间的相似度呢？ 余弦相似度 （cosine similiarity） 本文介绍基于VSM (Vector
信息大爆炸时代来临，用户在面对大量的信息时无法从中迅速获得对自己真正有用的信息。传统的搜索系统需要用户提供明确需求，从用户提供的需求信息出发，继而给用户展现信息，无法针对不同用户的兴趣爱好提供相应的信息反馈服务。推荐系统相比于搜索系统，不需要提供明确需求，便可以为每个用户实现个性化推荐结果，让每个用户更便捷地获取信息。它是根据用户的兴趣特点和购买行为，向用户推荐用户感兴趣的信息和商品。
在生物学中，神经元细胞有兴奋与抑制两种状态。大多数神经元细胞在正常情况下处于抑制状态，一旦某个神经元受到刺激并且电位超过一定的阈值后，这个神经元细胞就被激活，处于兴奋状态，并向其他神经元传递信息。基于神经元细胞的结构特性与传递信息方式，神经科学家 Warren McCulloch 和逻辑学家 Walter Pitts 合作提出了“McCulloch–Pitts (MCP) neuron”模型。在人工神经网络中，MCP模型成为人工神经网络中的最基本结构。MCP模型结构如 图1 所示。
一种新的图匹配网络，在几个图相关任务中均胜过精心设计的神经网络模型和基于标准GNN的图嵌入模型。
作者：何东晓（天津大学），梁春栋（天津大学），刘蕙心（天津大学），文明祥（天津大学），焦鹏飞（杭州电子科技大学），冯志勇（天津大学）
问答系统是自然语言处理领域一个很经典的问题，它用于回答人们以自然语言形式提出的问题，有着广泛的应用。其经典应用场景包括：智能语音交互、在线客服、知识获取、情感类聊天等。常见的分类有：生成型、检索型问答系统；单轮问答、多轮问答系统；面向开放领域、特定领域的问答系统。本文涉及的主要是在检索型、面向特定领域的问答系统，通常称之为——智能客服机器人。
今天分享来自 NAACL 2021的一篇文章，一种基于上下文倒排索引的信息检索模型：「COIL(COntextualized Inverted List)」。
自然语言处理技术的研究，可以丰富计算机知识处理的研究内容，推动人工智能技术的发展。
迁移学习(Transfer learning) 顾名思义就是把已训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务都是存在相关性的，所以通过迁移学习我们可以将已经学到的模型参数（也可理解为模型学到的知识）通过某种方式来分享给新模型从而加快并优化模型的学习效率不用像大多数网络那样从零学习。
【深度学习 | 核心概念】那些深度学习路上必经的核心概念，确定不来看看？ （一） 作者： 计算机魔术师 版本： 1.0 （ 2023.8.27 ）
🙋♂️声明：本人目前大学就读于大二，研究兴趣方向人工智能&硬件（虽然硬件还没开始玩，但一直很感兴趣！希望大佬带带）
一对相似问Q1、Q2。 • 正样本： 找到Q1’，与Q1相似度 > 0.7 找到Q2’，与Q2相似度 > 0.7 增强结果，得到正样本：Q1’、Q2’
协同过滤推荐算法是诞生最早，最为基础的推荐算法。 算法通过对用户历史行为数据的挖掘发现用户的偏好，基于不同的偏好对用户进行群组划分并推荐品味相似的商品。
马哈拉诺比斯距离： 考虑各个分量（特征）之间的相关性，与各个分量的尺度无关，距离越大，相似度越小
协同过滤推荐（Collaborative Filtering recommendation）是在信息过滤和信息系统中正迅速成为一项很受欢迎的技术。与传统的基于内容过滤直接分析内容进行推荐不同，协同过滤分析用户兴趣，在用户群中找到指定用户的相似（兴趣）用户，综合这些相似用户对某一信息的评价，形成系统对该指定用户对此信息的喜好程度预测。
论文： https://link.springer.com/article/10.1007/s11192-014-1289-4
KNN算法属于有监督的学习算法，它的中文名称为K最近邻算法，同样是十大挖掘算法之一。它与很多其他的监督算法不同，属于“惰性”学习算法，即不会预先生成一个分类或预测模型，用于新样本的预测，而是将模型的构建与未知数据的预测同时进行。
随着信息技术和互联网的发展， 我们已经步入了一个信息过载的时代，这个时代，无论是信息消费者还是信息生产者都遇到了很大的挑战：
作者：汪铖杰 首发于 腾讯云技术社区 量子位 已获授权编辑发布 优图实验室研究人脸技术多年，不仅在技术方面有很好的积累，而且在公司内外的业务中有众多应用。笔者作为优图实验室人脸研究组的一员，在与产品、商务、工程开发同事交流过程中发现：不管是“从图中找到人脸的位置”，或是“识别出这个人脸对应的身份”，亦或是其他，大家都会把这些不同的人脸技术统称为“人脸识别技术”。 因此，笔者整理了一些常见人脸技术的基本概念，主要用于帮助非基础研究同事对人脸相关技术有一个更深入的了解，方便后续的交流与合作。 人脸技术基本概念介
1. 人脸检测 “人脸检测(Face Detection)”是检测出图像中人脸所在位置的一项技术。 人脸检测算法的输入是一张图片，输出是人脸框坐标序列(0个人脸框或1个人脸框或多个人脸框)。一般情况下，输出的人脸坐标框为一个正朝上的正方形，但也有一些人脸检测技术输出的是正朝上的矩形，或者是带旋转方向的矩形。 常见的人脸检测算法基本是一个“扫描”加“判别”的过程，即算法在图像范围内扫描，再逐个判定候选区域是否是人脸的过程。因此人脸检测算法的计算速度会跟图像尺寸、图像内容相关。开发过程中，我们可以通过设置“输
人脸技术基本概念介绍 1. 人脸检测 “人脸检测(Face Detection)”是检测出图像中人脸所在位置的一项技术。 人脸检测算法的输入是一张图片，输出是人脸框坐标序列(0个人脸框或1个人脸框或多个人脸框)。一般情况下，输出的人脸坐标框为一个正朝上的正方形，但也有一些人脸检测技术输出的是正朝上的矩形，或者是带旋转方向的矩形。 常见的人脸检测算法基本是一个“扫描”加“判别”的过程，即算法在图像范围内扫描，再逐个判定候选区域是否是人脸的过程。因此人脸检测算法的计算速度会跟图像尺寸、图像内容相
微软研究院在IJCAI2016的Tutorial上讲述了自己将深度学习、深度神经网络应用于不同场景的情况，之前第二部分提到了深度学习在统计机器翻译和会话中的应用，第三部分是选中自然语言处理任务的连续表
众所周知，在机器学习领域中，计算机视觉、自然语言处理和语音识别的技术已经发展的非常成熟，都已经有非常好的效果。同时，在系统安全领域，也有非常多的研究者，正在尝试使用非常大量的数据进行分析，以完成一些人类难以完成的挑战。
「Key insight:」 虽然预训练BERT已经广泛地运用到了各种下游的NLP任务上，但在文本语义相似度计算任务上，未经微调的BERT句向量的质量常常不如GloVe句向量。针对这个问题，作者首先分析了BERT句向量分布的性质，然后利用标准化流无监督地将BERT句向量的分布变换成更规整的高斯分布，实验结果表明作者提出的BERT-flow在多项任务上取得了SOTA表现。
最近邻搜索(Nearest Neighbor Search)也称作最近点搜索，是指在一个尺度空间中搜索与查询点最近点的优化问题。最近邻搜索在很多领域中都有广泛应用，如：计算机视觉、信息检索、数据挖掘、机器学习，大规模学习等。其中在计算机视觉领域中应用最广，如：计算机图形学、图像检索、复本检索、物体识别、场景识别、场景分类、姿势评估，特征匹配等。由于哈希方法可以在保证正确率的前提下减少检索时间，如今哈希编码被广泛应用在各个领域。本文是关于大数据近似最近邻搜索问题中应用哈希方法的综述。文章分为两部分，本篇为第二部分。
本文介绍了基于Spark的LDA主题模型在文本聚类分析中的应用，通过与其他常见聚类算法进行比较，展示了其在处理大规模文本数据时的效率和准确性。同时，文章还介绍了文智平台在支持多语言、处理多主题、提供可视化界面等方面的特点。
在传统的机器学习的框架下，学习的任务就是在给定充分训练数据的基础上来学习一个分类模型；然后利用这个学习到的模型来对测试文档进行分类与预测。然而，我们看到机器学习算法在当前的Web挖掘研究中存在着一个关键的问题：一些新出现的领域中的大量训练数据非常难得到。我们看到Web应用领域的发展非常快速。大量新的领域不断涌现，从传统的新闻，到网页，到图片,再到博客、播客等等。传统的机器学习需要对每个领域都标定大量训练数据，这将会耗费大量的人力与物力。而没有大量的标注数据，会使得很多与学习相关研究与应用无法开展。其次，传统的机器学习假设训练数据与测试数据服从相同的数据分布。然而，在许多情况下，这种同分布假设并不满足。通常可能发生的情况如训练数据过期。这往往需要我们去重新标注大量的训练数据以满足我们训练的需要，但标注新数据是非常昂贵的，需要大量的人力与物力。从另外一个角度上看，如果我们有了大量的、在不同分布下的训练数据，完全丢弃这些数据也是非常浪费的。如何合理的利用这些数据就是迁移学习主要解决的问题。迁移学习可以从现有的数据中迁移知识，用来帮助将来的学习。迁移学习（Transfer Learning）的目标是将从一个环境中学到的知识用来帮助新环境中的学习任务。因此，迁移学习不会像传统机器学习那样作同分布假设。
2.直接根据没有缺失的数据线性回归填充，这样填充的好会共线性，填充的不好就没价值，很矛盾
本期更新第6篇文章， 聊聊“推荐系统”。 推荐系统核心的是推荐算法，常用有这几种： 基于内容推荐 协同过滤推荐 基于关联规则推荐 基于效用推荐 基于知识推荐 组合推荐。 最常用的还是组合推荐 Hybrid Recommendation 由于各种推荐方法都有优缺点，所以在实际中，组合推荐经常被采用。 最简单的做法就是分别用基于内容的方法和协同过滤推荐方法去产生一个推荐预测结果，然后用某方法组合其结果。 用的最多的是协同过滤算法，这也是本文要重点介绍的。 协同过滤推荐 Collaborative Filteri
当前机器学习在许多应用场景中已经取得了很好的效果，例如人脸识别与检测、异常检测、语音识别等等，而目前应用最多最广泛的机器学习算法就是卷积神经网络模型。但是大多应用场景都是基于很结构化的数据输入，比如图片、视频、语音等，而对于图结构（网络结构）的数据，相对应的机器学习方法却比较少，而且卷积神经网络也很难直接应用到图结构的数据中。在现实世界中，相比图片等简单的网格结构，图结构是更泛化的数据结构，比如一般的社交网络、互联网等，都是由图这种数据结构表示的，图的节点表示单个用户，图的边表示用户之间的互联关系。针对网络结构，用向量的数据形式表示网络结构、节点属性的机器学习方法就是网络表征学习。
作者提出了一种新的神经信念跟踪 (NBT) 框架，基于 表示学习 的最新进展，克服了上述问题。NBT 模型是对预先训练好的单词向量进行推理，学习将它们组合成用户话语和对话上下文的分布式表示。我们对两个数据集的评估表明，这种方法超过了过去的局限性，匹配了最先进的模型的性能，这些模型依赖于手工制作的语义词汇，并在不提供这些词汇时表现优于它们。
由于最近大量的研究，机器学习模型的性能在过去几年里有了显著的提高。虽然这些改进的模型开辟了新的可能性，但是它们只有在可以部署到生产应用中时才开始提供真正的价值。这是机器学习社区目前面临的主要挑战之一。
人脸检测器是一个基于 AI 联合实体数据一起开发的用于支持广播业务的应用程序。人脸检测器是一种实时人脸识别系统，用于识别人脸，并在输入视频流中显示人物姓名。
新智元报道 来源：VB 编辑：王汐，元子 【新智元导读】FlyHash是一种受果蝇嗅觉电路启发的算法，已证明该算法可生成哈希码，性能优于经典算法。不幸的是，由于FlyHash使用随机投影，因此无法
Transformer 在 NLP 领域取得了进化性的进步，这已不是什么秘密。基于 Transformer，还发展出了许多其他机器学习模型。其中之一是 BERT，它主要由几个堆叠的 Transformer 编码器组成。除了用于一系列不同的问题（例如情感分析或问答）之外，BERT 在构建词嵌入（表示单词语义的数字向量）方面变得越来越流行。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
