趣味玩转——用python分析《三国演义》中的社交网络

chapters = get_sanguo()                 # 文本列表，每个元素为一章的文本
print(chapters[0][:106])

第一回 宴桃园豪杰三结义　斩黄巾英雄首立功
滚滚长江东逝水，浪花淘尽英雄。是非成败转头空。
青山依旧在，几度夕阳红。
白发渔樵江渚上，惯看秋月春风。一壶浊酒喜相逢。
古今多少事，都付笑谈中

entity_mention_dict, entity_type_dict = get_sanguo_entity_dict()
print("刘备的指称有：",entity_mention_dict["刘备"])

刘备的指称有： [ 刘备 ,  刘玄德 ,  玄德 ,  使君 ]

print("刘备的类型为",entity_type_dict["刘备"])
print("蜀的类型为",entity_type_dict["蜀"])
print("蜀的指称有",entity_mention_dict["蜀"])

刘备的类型为 人名
蜀的类型为 势力
蜀的指称有 [ 蜀 ,  蜀汉 ]

ht = HarvestText()
ht.add_entities(entity_mention_dict, entity_type_dict)      # 加载模型
print(ht.seg("誓毕，拜玄德为兄，关羽次之，张飞为弟。",standard_name=True))

[ 誓毕 ,  ， ,  拜 ,  刘备 ,  为兄 ,  ， ,  关羽 ,  次之 ,  ， ,  张飞 ,  为弟 ,  。 ]

# 准备工作
doc = chapters[0].replace("操","曹操")                                  # 由于有时使用缩写，这里做一个微调
ch1_sentences = ht.cut_sentences(doc)     # 分句
doc_ch01 = [ch1_sentences[i]+ch1_sentences[i+1] for i in range(len(ch1_sentences)-1)]  #获得所有的二连句
ht.set_linking_strategy("freq")

# 建立网络
G = ht.build_entity_graph(doc_ch01, used_types=["人名"])              # 对所有人物建立网络，即社交网络

# 挑选主要人物画图
important_nodes = [node for node in G.nodes if G.degree[node]>=5]
G_sub = G.subgraph(important_nodes).copy()
draw_graph(G_sub,alpha=0.5,node_scale=30,figsize=(6,4))

stopwords = get_baidu_stopwords()    #过滤停用词以提高质量

for i,doc in enumerate(ht.get_summary(doc_ch01, topK=3, stopwords=stopwords)):
  print(i,doc)

玄德见皇甫嵩、朱儁，具道卢植之意。嵩曰：“张梁、张宝势穷力乏，必投广宗去依张角。
时张角贼众十五万，植兵五万，相拒于广宗，未见胜负。植谓玄德曰：“我今围贼在此，贼弟张梁、张宝在颍川，与皇甫嵩、朱儁对垒。
次日，于桃园中，备下乌牛白马祭礼等项，三人焚香再拜而说誓曰：“念刘备、关羽、张飞，虽然异姓，既结为兄弟，则同心协力，

G_chapters = []
for chapter in chapters:
    sentences = ht.cut_sentences(chapter)     # 分句
    docs = [sentences[i]+sentences[i+1] for i in range(len(sentences)-1)]
    G_chapters.append(ht.build_entity_graph(docs, used_types=["人名"]))

# 合并各张子图
G_global = nx.Graph()
for G0 in G_chapters:
    for (u,v) in G0.edges:
        if G_global.has_edge(u,v):
            G_global[u][v]["weight"] += G0[u][v]["weight"]
        else:
            G_global.add_edge(u,v,weight=G0[u][v]["weight"])

# 忽略游离的小分支只取最大连通分量
largest_comp = max(nx.connected_components(G_global), key=len)
G_global = G_global.subgraph(largest_comp).copy()
print(nx.info(G_global))

Name: 
Type: Graph
Number of nodes: 1290
Number of edges: 10096
Average degree:  15.6527

important_nodes = [node for node in G_global.nodes if G_global.degree[node]>=30]
G_main = G_global.subgraph(important_nodes).copy()

from pyecharts import Graph
nodes = [{"name": "结点1", "value":0, "symbolSize": 10} for i in range(G_main.number_of_nodes())]
for i,name0 in enumerate(G_main.nodes):
    nodes[i]["name"] = name0
    nodes[i]["value"] = G_main.degree[name0]
    nodes[i]["symbolSize"] = G_main.degree[name0] / 10.0
links = [{"source": "", "target": ""} for i in range(G_main.number_of_edges())]
for i,(u,v) in enumerate(G_main.edges):
    links[i]["source"] = u
    links[i]["target"] = v
    links[i]["value"] = G_main[u][v]["weight"]

graph = Graph("三国人物关系力导引图")
graph.add("", nodes, links)
graph.render("./images/三国人物关系力导引图.html")
graph

page_ranks = pd.Series(nx.algorithms.pagerank(G_global)).sort_values()
page_ranks.tail(20).plot(kind="barh")
plt.show()

between = pd.Series(nx.betweenness_centrality(G_global)).sort_values()
between.tail(20).plot(kind="barh")
plt.show()

import community                                    # python-louvain
partition = community.best_partition(G_main)         # Louvain算法划分社区
comm_dict = defaultdict(list)
for person in partition:
    comm_dict[partition[person]].append(person)

draw_community(2)

community 2: 张辽 曹仁 夏侯惇 徐晃 曹洪 夏侯渊 张郃 许褚 乐进 李典 于禁 
荀彧 刘晔 郭嘉 满宠 程昱 荀攸 吕虔 典韦 文聘 董昭 毛玠

draw_community(4)

community 4: 曹操 诸葛亮 刘备 关羽 赵云 张飞 马超 黄忠 许昌 孟达[魏] 孙乾
 曹安民 刘璋 关平 庞德 法正 伊籍 张鲁 刘封 庞统 孟获 严颜 马良 简雍 蔡瑁 
 陶谦 孔融 刘琮[刘表子] 刘望之 夏侯楙 周仓 陈登

draw_community(3)

draw_community(0)

community 0: 袁绍 吕布 刘表 袁术 董卓 李傕 贾诩 审配 孙坚 郭汜 陈宫 马腾 
袁尚 韩遂 公孙瓒 高顺 许攸[袁绍] 臧霸 沮授 郭图 颜良 杨奉 张绣 袁谭 董承 
文丑 何进 张邈[魏] 袁熙

draw_community(1)

community 1: 司马懿 魏延 姜维 张翼 马岱 廖化 吴懿 司马昭 关兴 吴班 王平 
邓芝 邓艾 张苞[蜀] 马忠[吴] 费祎 谯周 马谡 曹真 曹丕 李恢 黄权 钟会 蒋琬
 司马师 刘巴[蜀] 张嶷 杨洪 许靖 费诗 李严 郭淮 曹休 樊建 秦宓 夏侯霸 杨仪
  高翔 张南[魏] 华歆 曹爽 郤正 许允[魏] 王朗[司徒] 董厥 杜琼 霍峻 胡济 贾充
   彭羕 吴兰 诸葛诞 雷铜 孙綝 卓膺 费观 杜义 阎晏 盛勃 刘敏 刘琰 杜祺 上官雝 
   丁咸 爨习 樊岐 曹芳 周群

import moviepy.editor as mpy
from moviepy.video.io.bindings import mplfig_to_npimage
width, step = 10,5
range0 = range(0,len(G_chapters)-width+1,step)
numFrame, fps = len(range0), 1
duration = numFrame/fps
pos_global = nx.spring_layout(G_main)

def make_frame_mpl(t):
    i = step*int(t*fps)
    G_part = nx.Graph()
    for G0 in G_chapters[i:i+width]:
        for (u,v) in G0.edges:
            if G_part.has_edge(u,v):
                G_part[u][v]["weight"] += G0[u][v]["weight"]
            else:
                G_part.add_edge(u,v,weight=G0[u][v]["weight"])
    largest_comp = max(nx.connected_components(G_part), key=len)
    used_nodes = set(largest_comp) & set(G_main.nodes)
    G = G_part.subgraph(used_nodes)
    fig = plt.figure(figsize=(12,8),dpi=100)
    nx.draw_networkx_nodes(G,pos_global,node_size=[G.degree[x]*10 for x in G.nodes])
#     nx.draw_networkx_edges(G,pos_global)
    nx.draw_networkx_labels(G,pos_global)
    plt.xlim([-1,1])
    plt.ylim([-1,1])
    plt.axis("off")
    plt.title(f"第{i+1}到第{i+width+1}章的社交网络")
    return mplfig_to_npimage(fig)
animation = mpy.VideoClip(make_frame_mpl, duration=duration)

animation.write_gif("./images/三国社交网络变化.gif", fps=fps)