图数据库和知识图谱是管理图结构数据(包括节点(实体)和边(关系))的两大主流方案。图数据库利用基于图的数据模型存储信息,支持通过专用的图查询语言实现对图数据的查询和遍历;知识图谱通过整合推理和派生新知识的机制,增强了图数据库的功能。这种增强的表达力不仅让你能进行更高级的数据分析,还能从图中相互连接的数据点中提取洞察力。
本文将简要介绍知识图谱,再来探讨使用 llamaindex 和 nebulagraph-lite 生成知识图谱。
知识图谱是一种图形化的知识表示方法,它将相关联的概念、事物及其关系描绘成一个网络。它涵盖了现实世界中的实体,如物体、人物、地点和事件。知识图谱的核心通常依赖图数据库,图数据库专注于通过存储离散的信息片段及其之间的关联来管理数据。
知识图谱的核心组成部分包括:**实体**是现实世界中的事物或概念,包括人、地点、活动和思想总结。在图型表达中,这是一种可视化数据集之间关系的方式,实体在图中表示为节点。
实体的例子包括:
关系描述了对象之间的相互作用或联系方式,且展示了它们是如何联系在一起的。在知识图谱中,关系通过边来表示,这些边连接相应的节点。而边的流动方向可以是单向,也可以是双向,这取决于实体关系的性质。
知识图谱拥有以下能力:
有效管理和可视化异构信息:能够在统一的框架内处理不同系统的数据,实现清晰且深具洞察力的信息展示。
集成新的数据资源:知识图谱固有的灵活性,能很好地同新数据源融合,支持知识库的持续扩充。
理解并阐释任何存储信息中的关系:能够发现并展示不同信息库中实体之间的关系,从而全面理解潜在的关联关系。
图谱的主要类型:
RDF 图,全称资源描述框架图,是用来表示类似网络结构的网络信息的一种方式。基本上,它是一系列围绕主题、谓词和客体组成的声明。以“巴黎是法国的首都”这句话为例,在 RDF 图中,“巴黎”作为主题,“是……的首都”作为谓词,“法国”作为对象(客体)。而这三个元素共同构成了一个“三元组”,代表了一个事实。一个 RDF 图可以包含众多这样的三元组,从而构建成一个互连的信息网络。
资源描述框架(RDF)三元组存储是一种标准化的知识表示数据模型。在这个模型中,每个元素都通过统一资源标识符(URI)被赋予一个独一无二的标识符。这种机制确保主题、谓词和客体的机器可读性。此外,RDF 三元组存储采用了一种名为 SPARQL 的标准化查询语言,该语言支持从存储中检索数据。得益于数据表示和查询的标准化,RDF 三元组存储能够与其他遵循 RDF 框架的知识图谱实现互操作。
上图展示了一个社交网络中的个体(圆形节点 Jack、Joe、Jane),和他们之间的友谊关系(有向连接线 knows)。此外,每个有深色边缘的节点都表示该个体有收入(有向连接线 hasIncome)。菱形节点显示了网络中可能存在的额外数据(三元组)。
RDF 图的优点:
互操作性:RDF 是 W3C 的标准,意味着不同的系统可以理解并交换存储在 RDF 图中的数据。这使得它非常适合跨平台和应用程序之间的数据共享。
标准化:由于其标准化的格式,RDF 图支持标准查询语言 SPARQL 来探索和分析图中存储的数据。
推理与推导:RDF 图能够利用本体(可以视为对概念的正式描述)来进行数据推理。这使系统能够推导出图中没有直接表述的新信息。
灵活:RDF 图能够表述多种数据类型和关系,适合模拟复杂的领域和整合不同来源的数据。
RDF 图的缺点:
深度搜索复杂:在大型 RDF 图中进行深度搜索的计算成本可能很高,这可能拖慢需要探索多个连接的查询的速度。
结构严格:RDF 数据以“三元组”(主体、谓语、客体)的形式存储,这种结构可能不如其他图模型那样灵活,后者允许对实体或关系本身添加属性。
学习曲线陡峭:理解和使用 RDF 需要良好地掌握其基本概念及 SPARQL 查询语言,这对新用户来说可能是一个挑战。
带标签的属性图(LPG)是一种用于表现具有相互连接的服务及其关系的特殊图数据库模型。以下是其主要特点的详细解释:
节点:可表示现实中的男性或女性特征。每个节点都具有独特的描述,并可被赋予一个或多个标签以表明其类型或大小(例如,“人物”、“产品”)。
属性:节点可能拥有键值对,用以存储关于该实体的额外信息。这些属性允许对图中的元素进行基本描述。
边:表示节点之间的联系,并展示实体间的关系。边与节点类似,可以用多种方式标记(例如,“认识”、“购买”),同时也可以拥有自己的属性。
LPG 的主要特性:
丰富的数据结构:节点和边都能拥有属性,与其他模型如 RDF 相比,允许更密集和信息量更大的数据表现。
高效的存储与查询:LPG 结构通常能带来高效的存储方式和更快速的图内连接遍历,便于进行查询。
灵活:LPG 由于没有预定义的模式,具备很高的灵活性,允许模拟多种数据关系。
属性图和大型语言模型(LLM)是两个强大的工具,可以结合使用,从数据中挖掘出新线索。以下是它们如何协作的具体方式:
数据增强:
查询与探索:
推理和推断:
示例演示:
以下展示了使用 Llamaindex KnowledgeGraphIndex 和 NebulaGraph Lite Reference 结合 Google Gemini LLM 和 Collab 分步实现知识图谱的过程。
前往 https://aistudio.google.com/app/prompts/new_chat 并生成一个新的 API 密钥。
! mkdir ad && cd ad
! curl https://arxiv.org/pdf/2106.07178.pdf --output AD1.pdf
! mv \*.pdf ad/
! pip install -q transformers
%pip install llama\_index pyvis Ipython langchain pypdf llama-index-llms-huggingface llama-index-embeddings-langchain llama-index-embeddings-huggingface
%pip install --upgrade --quiet llama-index-llms-gemini google-generativeai
%pip install --upgrade --quiet llama-index-graph-stores-nebula nebulagraph-lite
import os
from google.colab import userdata
GOOGLE\_API\_KEY = userdata.get('GOOGLE\_API\_KEY')
os.environ["GOOGLE\_API\_KEY"] = GOOGLE\_API\_KEY
import logging
import sys
logging.basicConfig(stream=sys.stdout, level=logging.INFO)
logging.getLogger().addHandler(logging.StreamHandler(stream=sys.stdout))
from llama\_index.core import (
ServiceContext,
KnowledgeGraphIndex)
from llama\_index.core import SimpleDirectoryReader
from llama\_index.core.storage.storage\_context import StorageContext
from pyvis.network import Network
from llama\_index.llms.huggingface import HuggingFaceLLM
检查支持的 Gemini 模型。本例中,我们将使用 Gemini 1.0 专业版。
import google.generativeai as genai
for m in genai.list\_models():
if "generateContent" in m.supported\_generation\_methods:
print(m.name)
print(m)
from llama\_index.llms.gemini import Gemini
llm = Gemini(model="models/gemini-1.0-pro-latest")
from llama\_index.embeddings.huggingface import HuggingFaceEmbedding
from llama\_index.core import ServiceContext
embed\_model = HuggingFaceEmbedding(model\_name="BAAI/bge-small-en-v1.5")
documents = SimpleDirectoryReader("/content/ad").load\_data()
print(len(documents))
from nebulagraph\_lite import nebulagraph\_let
n = nebulagraph\_let(debug=False)
n.start()
%ngql --address 127.0.0.1 --port 9669 --user root --password nebula
# If not, create it with the following commands from NebulaGraph's console:
%ngql CREATE SPACE nebula\_ad(vid\_type=FIXED\_STRING(256), partition\_num=1, replica\_factor=1)
import time
print("Waiting...")
# Delay for 10 seconds
time.sleep(10)
%ngql --address 127.0.0.1 --port 9669 --user root --password nebula
%ngql USE nebula\_ad;
%ngql CREATE TAG entity(name string);
%ngql CREATE EDGE relationship(relationship string);
import os
os.environ["NEBULA\_USER"] = "root"
os.environ["NEBULA\_PASSWORD"] = "nebula" # default is "nebula"
os.environ[
"NEBULA\_ADDRESS"
] = "127.0.0.1:9669" # assumed we have NebulaGraph installed locally
space\_name = "nebula\_ad"
edge\_types, rel\_prop\_names = ["relationship"], [
"relationship"
] # default, could be omit if create from an empty kg
tags = ["entity"] # default, could be omit if create from an empty kg
from llama\_index.core import StorageContext
from llama\_index.graph\_stores.nebula import NebulaGraphStore
graph\_store = NebulaGraphStore(
space\_name=space\_name,
edge\_types=edge\_types,
rel\_prop\_names=rel\_prop\_names,
tags=tags,
)
storage\_context = StorageContext.from\_defaults(graph\_store=graph\_store)
from llama\_index.core import Settings
Settings.llm = llm
Settings.embed\_model = embed\_model
Settings.chunk\_size = 512
# NOTE: can take a while!
index = KnowledgeGraphIndex.from\_documents(
documents,
storage\_context=storage\_context,
max\_triplets\_per\_chunk=10,
space\_name=space\_name,
edge\_types=edge\_types,
rel\_prop\_names=rel\_prop\_names,
tags=tags,
include\_embeddings=True
)
# Query some random Relationships with Cypher
%ngql USE nebula\_ad;
%ngql MATCH ()-[e]->() RETURN e LIMIT 10
query\_engine = index.as\_query\_engine()
from IPython.display import display, Markdown
response = query\_engine.query(
"Tell me about Anomaly?",
)
display(Markdown(f"<b>{response}</b>"))
异常现象(Anomaly),在不同应用领域也可能被称作异常值、例外、特殊情况、稀有现象或新奇现象,它们指的是与常规、标准或预期显著不同的异常对象。
from IPython.display import display, Markdown
response = query\_engine.query(
"What are graph anomolies?",
)
display(Markdown(f"<b>{response}</b>"))
图异常可以被定义为结构性异常。
这些简单的知识图谱有效地捕捉了实体间的复杂关系,这种能力显著提高了查询和推理的精确性、多样性和复杂性。此外,这些知识图谱还可以扩展应用到基于 RDF 的复杂本体图。
* https://link.springer.com/chapter/10.1007/978-3-642-21295-6_13
本文系外文翻译,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文系外文翻译,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。