Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >终于有人把知识图谱讲明白了

终于有人把知识图谱讲明白了

作者头像
IT阅读排行榜
发布于 2023-02-13 09:56:09
发布于 2023-02-13 09:56:09
4180
举报
文章被收录于专栏:华章科技华章科技

作者:蒋明炜

来源:大数据DT(ID:hzdashuju)

01 知识图谱的由来

1977年,美国计算机科学家费根鲍姆正式命名知识工程,他曾于1994年获得图灵奖,被誉为专家系统之父,知识工程奠基人。知识工程是自上而下的,并严重依赖专家干预。知识工程的基本目标就是把专家的知识赋予机器,利用机器解决问题。

在传统的知识工程里,首先需要有相关领域的专家,而且专家能够把自己的知识表达出来;其次,还需要有知识工程师把专家表达的知识变成计算机能够处理的形式。

互联网的应用催生了大数据时代下的知识工程。虽然知识工程解决问题的思路极具前瞻性,但传统知识工程能够表示的规模有限,难以适应互联网时代大规模开放应用的需求。

为应对这些问题,学界和业界的知识工程研究者们试图寻找新的解决方案。于是学者们将目光转移到数据本身上,提出了链接数据的概念。

链接数据中的数据不仅仅需要发布于语义网中,更需要建立自身数据之间的联系,从而形成一张巨大的链接数据网。首先在这项技术上取得重大突破的是谷歌的搜索引擎产品,谷歌将其命名为“知识图谱”。

02 知识图谱的定义

知识图谱旨在描述真实世界中存在的各种实体或概念及其关系,其构成了一张巨大的语义网络图,节点表示实体或概念,边则由属性或关系构成。现在的知识图谱已被用来泛指各种大规模的知识库。图1.5便是一个围绕产品全生命周期的知识图谱示例,一般来说知识图谱中包含三种节点:

▲图1.5 产品全生命周期知识图谱

实体或概念指的是具有可区别性且独立存在的某种事物。以图1.5为例,产品、产品1、研发设计、生产制造、采购、质量等都是一个个实体。世界万物由若干具体事物组成,实体是知识图谱中的最基本元素,不同的实体间存在不同的关系。

属性及属性值用来刻画实体的内在特性,从一个实体指向它的属性值。不同的属性类型对应不同类型属性的边。属性值主要指对象指定属性的值。如图1.5所示的“采购”“生产”“质量”是几种不同的属性。属性值则是采购物料的数量和价格、生产数量和进度、采购和生产的质量指标。

关系则是用来连接两个实体,刻画它们之间的关联。知识图谱亦可被看作一张巨大的关系网图,图中的节点表示实体或概念,而图中的边则由属性或关系构成。

03 知识图谱的技术架构

知识图谱的技术架构是指其构建模式的结构,如图1.6所示。图1.6中虚线框内的部分为知识图谱的构建过程,也包含知识图谱的更新过程。

▲图1.6 知识图谱的技术架构

知识图谱构建从最原始的数据(包括结构化、半结构化、非结构化数据)出发,采用一系列自动或者半自动的技术手段,从原始数据库和第三方数据库中进行知识提取,并将其存入知识库的数据层和模式层中,这一过程包含数据采集、知识抽取、知识融合、知识加工、知识应用五个过程,每一次更新迭代均包含这四个阶段。

知识图谱主要有自顶向下(top-down)与自底向上(bottom-up)两种构建方式。

自顶向下指的是先为知识图谱定义好本体与数据模式,再将实体加入知识库中。该构建方式需要利用一些现有的结构化知识库作为其基础知识库,例如Freebase项目就是采用这种方式,它的绝大部分数据是从维基百科中得到的。自底向上指的是从一些开放链接数据中提取出实体,选择其中置信度较高的加入知识库中,再构建顶层的本体模式。

对于大多数制造业企业来说,由于缺乏大量的实证数据,在应用初期主要使用自顶向下的构建方式。

04 知识图谱与大数据的区别

知识图谱是运用一套新的技术和方法论在知识结构化和分析洞察两个方面提升信息转化为知识并且被利用的效率。大数据和知识图谱的抽象工作都是关于“结构化”和“关联”的,不过大数据是数据结构化和数据级别的关联,知识图谱是知识结构化和知识级别的关联。

所谓知识结构化在知识图谱技术中就是用三元组的数据结构对实体和关系建模。知识图谱在解决分析洞察这类问题时,在处理“关系”这件事情上,更直观也更高效。知识图谱技术无非是将人工的过程平移,希望计算机能够更高效地完成这一工程。

大数据很大程度上是在尝试将非结构化的数据转为结构化的数据,使其能被计算机分析,从这个意义上讲,传统的企业大数据平台、数据治理和知识图谱无疑都要共享企业的大数据。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2022-08-15,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 大数据DT 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
史上最全知识图谱建模实践(上):本体结构与语义解耦
在“无需复杂图谱术语,7个原则搞定Schema建模”一文中,我们总结了知识建模最佳实践的7个指导原则。本文中,我们将分基础篇、进阶篇,针对不同业务场景的建模需求,由浅及深讲解基于SPG的知识建模的方法和案例,并涉及术语的解释。
可信AI进展
2024/01/26
3.4K0
史上最全知识图谱建模实践(上):本体结构与语义解耦
深度学习 | 什么是知识图谱
2012年5月17日,Google正式提出了知识图谱(Knowledge Graph)的概念,其初衷是为了优化搜索引擎返回的结果,增强用户搜索质量及体验。
Justlovesmile
2021/12/14
37.6K0
深度学习 | 什么是知识图谱
干货好文!自底向上——知识图谱构建技术初探
云栖君导读:知识图谱的构建技术主要有自顶向下和自底向上两种。其中自顶向下构建是指借助百科类网站等结构化数据源,从高质量数据中提取本体和模式信息,加入到知识库里。而自底向上构建,则是借助一定的技术手段,从公开采集的数据中提取出资源模式,选择其中置信度较高的信息,加入到知识库中。
Spark学习技巧
2019/09/04
2.1K0
干货好文!自底向上——知识图谱构建技术初探
入门 | 知识图谱简介
磐创AI 专注分享原创AI技术文章 作者 | Walker 编辑 | 磐石 出品 | 磐创AI技术团队 【磐创AI导读】:本文是知识图谱的一篇综述类文章,带你对知识图谱有一个大体的了解。欢迎大家点击上方蓝字关注我们的公众号:磐创AI。 信息技术的发展不断推动着互联网技术的变革,Web技术作为互联网时的标志性技术,正处于这场技术变的核心。从网页的链接到数据的链接,Web技术正在逐步朝向Web之父Berners-Lee设想中的语义网络演变。语义网络是一张数据构成的网络,语义网络技术向用户提供的是一个查询环境,
磐创AI
2018/07/03
1.8K0
知识图谱技术研讨精华整理,肖仰华教授带你建立起知识图谱学科体系
知识图谱是一种大规模语义网络,已经成为大数据时代知识工程的代表性进展。 知识图谱技术是实现机器认知智能和推动各行业智能化发展的关键基础技术。由复旦大学肖仰华教授策划的《知识图谱:概念与技术》课程体系,已在国内进行了多次巡回演讲,受到参会人员一致好评。 该课程全面系统讲授与研讨了知识图谱相关概念与技术主题,对当前行业落地过程的一系列困难进行答疑解惑。 下面让我们通过回顾第一章课程的10条“知识图谱概述”研讨,来进一步学习了解知识图谱技术内幕。 本课程配套教材《知识图谱:概念与技术》。 / 以下为课程第一
博文视点Broadview
2023/05/19
4240
知识图谱技术研讨精华整理,肖仰华教授带你建立起知识图谱学科体系
干货 | 知识图谱的技术与应用
导读:从一开始的Google搜索,到现在的聊天机器人、大数据风控、证券投资、智能医疗、自适应教育、推荐系统,无一不跟知识图谱相关。它在技术领域的热度也在逐年上升。本文以通俗易懂的方式来讲解知识图谱相关的知识、尤其对从零开始搭建知识图谱过程当中需要经历的步骤以及每个阶段需要考虑的问题都给予了比较详细的解释。对于读者,我们不要求有任何AI相关的背景知识。
zenRRan
2019/10/31
7430
知识图谱研讨实录09丨肖仰华教授带你读懂知识图谱语言认知
知识图谱是一种大规模语义网络,已经成为大数据时代知识工程的代表性进展。 知识图谱技术是实现机器认知智能和推动各行业智能化发展的关键基础技术。由复旦大学肖仰华教授策划的《知识图谱:概念与技术》课程体系,已在国内进行了多次巡回演讲,受到参会人员一致好评。 课程主要目的和宗旨是系统讲述知识图谱相关知识,让同学们对知识图谱的理论和技术有一个系统的认知。本实录来自该课程老师和同学的研讨。 下面让我们通过第十二章《基于知识图谱的语言认知》的15条精华研讨,来进一步学习了解知识图谱技术内幕。文末可查看更多章节精华回顾。
博文视点Broadview
2023/05/19
2320
知识图谱研讨实录09丨肖仰华教授带你读懂知识图谱语言认知
第1章 理解知识图谱(一)
如果我们从不同的研究视角、研究目的以及多知识的不同认识程度对知识进行分类的话,可以分为以下几种:
小馒头学Python
2024/04/29
3270
第1章 理解知识图谱(一)
【知识图谱】知识表示:知识图谱如何表示结构化的知识?
互联网时代,人类在与自然和社会的交互中生产了异常庞大的数据,这些数据中包含了大量描述自然界和人类社会客观规律有用信息。如何将这些信息有效组织起来,进行结构化的存储,就是知识图谱的内容。
用户1508658
2019/11/26
4.6K0
【知识图谱】人工智能技术最重要基础设施之一,知识图谱你该学习的东西
互联网时代,人类在与自然和社会的交互中生产了异常庞大的数据,这些数据中包含了大量描述自然界和人类社会客观规律有用信息。如何将这些信息有效组织起来,进行结构化的存储,就是知识图谱的内容。
用户1508658
2019/11/13
1.1K0
【知识图谱】人工智能技术最重要基础设施之一,知识图谱你该学习的东西
大厂技术实现 | 详解知识图谱的构建全流程 @自然语言处理系列
知识图谱(Knowledge Graph)的概念由谷歌2012年正式提出,旨在实现更智能的搜索引擎,并且于2013年以后开始在学术界和业界普及。目前,随着智能信息服务应用的不断发展,知识图谱已被广泛应用于智能搜索、智能问答、个性化推荐、情报分析、反欺诈等领域。本篇是『知识图谱构建与落地实践』的起始篇,我们与来自百度的NLP工程师路遥,一起研究知识图谱的构建流程与技术细节。
ShowMeAI
2022/01/22
26.4K3
大厂技术实现 | 详解知识图谱的构建全流程 @自然语言处理系列
肖仰华:知识图谱构建的三要素、三原则和九大策略 | AI ProCon 2019
近两年,知识图谱技术得到了各行各业的关注,无论是企业公司还是开发者个人,都对这项技术有着极大的了解与使用需求。在近日的 AI开发者大会(AI ProCon 2019)的知识图谱技术专题,演讲嘉宾为开发者们分享了该领域技术应用的实践经验与未来发展趋势。
AI科技大本营
2019/10/08
1.3K0
肖仰华:知识图谱构建的三要素、三原则和九大策略 | AI ProCon 2019
知识图谱(一)-基本概念 原
知识图谱(Knowledge Graph),在图书情报界称为知识域可视化或知识领域映射地图,是显示知识发展进程与结构关系的一系列各种不同的图形,用可视化技术描述知识资源及其载体,挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。 知识图谱是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合,并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的的现代理论。
Pulsar-V
2019/07/19
6.3K1
综述 | 知识图谱技术综述(上)
知识图谱技术是人工智能技术的重要组成部分,其建立的具有语义处理能力与开放互联能力的知识库,可在智能搜索、智能问答、个性化推荐等智能信息服务中产生应用价值。
zenRRan
2019/12/27
2.7K0
综述 | 知识图谱技术综述(上)
分享实录丨阳德青教授分享“知识图谱起航”
知识图谱是实现机器人之智能的基础,也是一门应用广泛的工程学科。其具体方法大都来自计算机或人工智能的其他领域,比如自然语言处理、机器学习、知识工程等。面对如此庞杂的知识,初学者应该如何着手?
博文视点Broadview
2020/06/10
6390
分享实录丨阳德青教授分享“知识图谱起航”
解读知识图谱的自动构建
‍【引】在AI领域, 知识系统过时了么?在《大模型应用的10种架构模式》中, 知识图谱与大模型的结合是一种重要的应用方式。知识图谱可以辅助大模型应用的推理,大模型也可以辅助知识图谱的构建,二者是可以相辅相成的。在国庆假期中,读了一篇论文“A comprehensive survey on Automatic Knowledge graph Construction”(https://arxiv.org/abs/2302.05019),整理成文。
半吊子全栈工匠
2024/11/07
2150
解读知识图谱的自动构建
知识图谱突然火了?
知识图谱(Knowledge Graph)的历程发展可以追溯到20世纪70年代诞生的专家系统,专家系统是一个具有大量的专门知识与经验的程序系统,它应用人工智能技术和计算机技术,根据某领域一个或多个专家提供的知识和经验,进行推理和判断,模拟人类专家的决策过程,以便解决那些需要人类专家处理的复杂问题。
伊泽瑞尔
2022/05/31
5090
知识图谱突然火了?
肖仰华谈知识图谱:知识将比数据更重要,得知识者得天下
比如“C罗”是一个实体,“金球奖”也是一个实体,他们俩之间有一个语义关系就是“获得奖项”。“运动员”、“足球运动员”都是概念,后者是前者的子类(对应于图中的subclassOf 关系)。
AI科技大本营
2018/11/30
1.7K0
肖仰华谈知识图谱:知识将比数据更重要,得知识者得天下
Datawhale 知识图谱组队学习 Task 1 知识图谱介绍
知识图谱是结构化的语义知识库,用于以符号形式描述物理世界中的概念及其相互关系。其基本组成单位是“实体-关系-实体”三元组(比如人-“居住在”-北京、张三和李四是“朋友”),以及实体及其相关属性-值对,实体间通过关系相互联结,构成网状的知识结构。
听城
2021/01/14
1.2K0
Datawhale 知识图谱组队学习 Task 1 知识图谱介绍
基于知识图谱的智能问答方案
2012年谷歌首次提出“知识图谱”这个词,由此知识图谱在工业界也出现得越来越多,对于知识图谱以及相关概念的理解确实也是比较绕。自己在研究大数据独角兽Palantir之后开始接触知识图谱,也算对其有了一定了解,这里从三个角度总结一下怎么去理解知识图谱。
机器学习AI算法工程
2020/07/14
4.6K0
推荐阅读
相关推荐
史上最全知识图谱建模实践(上):本体结构与语义解耦
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档