数据分析与数据挖掘 - 03智能对话

import jieba

text = '我爱北京天安门'

result = jieba.cut(text)  # 分词的结果是一个生成器对象

for i in result:
    print(i)

import jieba

text = '今天天气很热，我出去转了一圈出了一身汗，还是待在家里吹空调吧'

result1 = jieba.cut(text, cut_all=False)  # 精准模式
result2 = jieba.cut(text, cut_all=True)  # 全模式
result3 = jieba.cut_for_search(text)  # 搜索引擎模式
print(list(result1))
print(list(result2))
print(list(result3))

text_list = ['我', '爱', '北京', '天安门']
w1 = '我'
w2 = '天安门'


def get_vector(word):
    vector = []
    for i in text_list:
        if word == i:
            vector.append(1)
        else:
            vector.append(0)
    return vector


print(get_vector(w1))
print(get_vector(w2))

import jieba

text_list = ['我', '爱', '北京', '天安门']
w1 = '我爱你'
w2 = '我在天安门'
w3 = '我的家在北京'


def get_vector(word):
    word_list = list(jieba.cut(word))
    print(word_list)
    vector = []
    for i in text_list:
        if i in word_list:
            vector.append(1)
        else:
            vector.append(0)
    return vector


print(get_vector(w1))  # 其中w1会受分词结果的影响非常严重，此处做简要说明
print(get_vector(w2))
print(get_vector(w3))

import jieba
from gensim.models import word2vec

# 假设有文件 a.txt ,文件内容为：我爱北京天安门
f1 = open('a.txt')

# 用来存储分词之后的结果
f2 = open('b.txt', 'a')

# 假设文件内有多行文本
lines = f1.readlines()
for line in lines:
    # 替换tab，换行，空格
    line.replace('/t', '').replace('/n', '').replace(' ', '')
    segment = jieba.cut(line)
    # 以空格拼接并写入
    f2.write(' '.join(segment))

f1.close()
f2.close()

# 加载语料
sentences = word2vec.Text8Corpus('b.txt')
# 训练模型
model = word2vec.Word2Vec(sentences, min_count=1)  # 语料库太少，必须设置min_count参数为1
# 保存模型
model.save('word2vec.model')

# 表示词向量
print(model.wv['我'])
print(model.wv['天安门'])
print(model.wv['我', '天安门'])
# print(model.wv['上海'])  # 词向量必须在语料库中存在才可以表示,不存在会报错

# 1 获取两个文本之间的相似度
sim1 = model.wv.similarity('我', '天安门')
# sim2 = model.wv.similarity('我们', '天安门')  # 报错："word '我们' not in vocabulary"
print(sim1)

# 2 找到与给定文本最想的文本，并排序
sim_text = model.wv.most_similar('我')
print(sim_text)

# 3 比较两个词条的相似性
sim3 = model.wv.n_similarity(['我', '天安门'], ['爱', '北京'])
print(sim3)

import json
import random
import jieba
from gensim.models import word2vec

"""
1、用户输入一段文本
2、对用户输入的文本进行分词
3、把用户输入的结果与content_file.txt文件中的title字段，一一的进行相似度运算
4、获取到最大的相似度。
5、由于reply中的内容是一个列表，所以随机产生一个答案进行回复。
"""
f1 = open('fenci.txt')
f2 = open('result.txt', 'a')
lines = f1.readlines()
for line in lines:
    line.replace('\t', '').replace('\n', '').replace(' ', '')
    segment = jieba.cut(line)
    f2.write(' '.join(segment))
f1.close()
f2.close()

sentences = word2vec.Text8Corpus('result.txt')
model = word2vec.Word2Vec(sentences, min_count=1)
model.save('chat-bot.model')

word2vec.Word2Vec.load('chat-bot.model')

# 3 比较两个词条的相似性
sim3 = model.wv.n_similarity(['我们', '最近'], ['因为', '不好'])
print(sim3)

while True:
    text = input("请输入>>:").strip()
    if text in ['拜拜', 88, 8, 'bye', '再见']:
        print("有缘再见")
        break

    # 1 分词
    words = jieba.cut(text)
    user_word_list = []
    for word in words:
        user_word_list.append(word)

    # 2 加载回复文件
    content_file = open('content_file.txt')
    json_content_file = json.load(content_file)

    max_sim_result = 0
    max_sim_response = []
    max_sim_title = ''

    for line in json_content_file:
        content_cut_word = jieba.cut(line['title'])
        content_list = []
        for w in content_cut_word:
            content_list.append(w)

        try:
            sim_result_value = model.wv.n_similarity(user_word_list, content_list)
        except:
            continue
		
        # 3 检查最大相似度的匹配
        if sim_result_value > max_sim_result:
            max_sim_result = sim_result_value
            max_sim_response = line['reply']
            max_sim_title = line['title']

    print(max_sim_result)
    print(max_sim_title)

    if max_sim_response:
        print(max_sim_response[random.randint(0, len(max_sim_response) - 1)])
    else:
        print('对不起，请说人话')