首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >[TextMatch框架] train model

[TextMatch框架] train model

作者头像
MachineLP
发布于 2020-10-29 02:18:32
发布于 2020-10-29 02:18:32
59800
代码可运行
举报
文章被收录于专栏:小鹏的专栏小鹏的专栏
运行总次数:0
代码可运行

TextMatch

TextMatch is a semantic matching model library for QA & text search … It’s easy to train models and to export representation vectors.

TextMatch/train_model模块包含 :

(1)train_bow.py : bow模型训练

样例:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
import sys
from textmatch.models.text_embedding.bow_sklearn import Bow
from textmatch.config.constant import Constant as const



if __name__ == '__main__':
    # 训练集
    words_list = ["我去玉龙雪山并且喜欢玉龙雪山玉龙雪山","我在玉龙雪山并且喜欢玉龙雪山","我在九寨沟"]
    # doc
    words_list1 = ["我去玉龙雪山并且喜欢玉龙雪山玉龙雪山","我在玉龙雪山并且喜欢玉龙雪山","我在九寨沟", "哈哈哈哈"]

    # 训练
    bow = Bow(dic_path=const.BOW_DIC_PATH, bow_index_path=const.BOW_INDEX_PARH, )
    bow.fit(words_list)

    # query
    bow = Bow(dic_path=const.BOW_DIC_PATH, bow_index_path=const.BOW_INDEX_PARH, )
    bow.init(words_list1, update=False)
    testword = "我在九寨沟,很喜欢"
    #for word in jieba.cut(testword):
    #    print ('>>>>', word)
    pre = bow.predict(testword)
    print ('pre>>>>>', pre) 

    pre = bow._predict(testword)[0]
    print ('pre>>>>>', pre) 

(2)train_tfidf.py: tfidf模型训练

(3)train_ngram_tfidf.py:ngram_tfidf模型训练

(4)train_w2v.py:word2vector模型训练

(5)train_bert.py:bert模型训练

(6)train_albert.py:albert模型训练

(7)train_dssm.py:dssm模型训练

(8)train_dnn.py:dnn模型训练

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2020/06/12 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
React 18不再依赖Concurrent Mode开启并发更新了
大家好,我卡颂。 相信很多关注React进展的朋友都了解Concurrent Mode,他是「渐进升级」策略的产物。
公众号@魔术师卡颂
2021/11/23
1.3K0
React 18不再依赖Concurrent Mode开启并发更新了
从源码深入探究React 运行时优化方案的演进
上周刚在公司进行了一次 React 运行时优化方案的分享,以下是分享的文字版,文章比较长,干货也很多,相信你看完后会对 React 有不一样的理解。
Nealyang
2021/09/27
5320
从源码深入探究React 运行时优化方案的演进
听说你还不知道React18新特性?看我给你整明白!
目前react的最新版本是18.2.0。React 团队在 2022 年 3 月 29 日正式发布了 React 的第 18 个版本 是 React 框架的最新版本,它主要着眼于解决 React 应用在性能、稳定性、开发体验等方面的问题。本文将介绍 React 18 的升级内容、新特性、新的 API、底层逻辑更新等方面的内容,并通过示例展示其使用效果。 我将在这篇文章里简单介绍 React 18 的新特性,React Concurrent Mode(并发模式)的实现,以及简要的升级指南。
用户6297767
2023/11/21
2.1K0
听说你还不知道React18新特性?看我给你整明白!
彻底搞懂 React 18 并发机制的原理
React 是通过 JSX 描述页面的,JSX 编译成 render function(也就是 React.createElement 等),执行之后产生 vdom。
神说要有光zxg
2023/02/01
1.5K0
「React18新特性」深入浅出用户体验大师—transition
在 React 18 中,引进了一个新的 API —— startTransition 还有二个新的 hooks —— useTransition 和 useDeferredValue,本质上它们离不开一个概念 transition 。
用户6835371
2021/11/10
1.9K0
React18 带来了什么
经历了v17的平缓过渡,React 3月29日正式发布了React v18版本。这个版本带来了一些十分重要的能力。但大家伙不必担心学不动,这个版本无破坏性更新,hooks 还在。以下是核心功能更新。
jadeCarver
2022/08/06
8030
不再支持 IE,React 新特性详细解读
近日,React 18 已经正式发布了,带来了许多令人兴奋的新特性。在这个版本中,React 通过其改进的渲染系统带来了并发能力,并在此基础上构建了转换或自动批处理等性能增强特性。本文将介绍这些特性的机制,以及它们对 React 开发人员有哪些帮助。
深度学习与Python
2022/06/13
2.1K0
悄悄告诉你:React18文档里写错的地方
React18正式版已经发布一段时间了,如果你升级到v18,且仍使用ReactDOM.render创建应用,会收到如下报警:
公众号@魔术师卡颂
2022/06/10
4770
悄悄告诉你:React18文档里写错的地方
React18 官方更新解读(文字版)
所以「Andrew」在v16.13.1时需要先完成lanes优先级调度算法的开发。
用户3806669
2021/07/06
1K0
React18 官方更新解读(文字版)
React的操作系统梦,任重道远
React Core Team从16年开始改造React的核心模块Reconciler(diff算法会在该模块执行)。
公众号@魔术师卡颂
2021/04/21
6280
精读《React 18》
React 18 带来了几个非常实用的新特性,同时也没有额外的升级成本,值得仔细看一看。
黄子毅
2022/03/15
1.6K0
深入分析React-Scheduler原理
工作中一直有在用 React 相关的技术栈,但却一直没有花时间好好思考一下其底层的运行逻辑,碰巧身边的小伙伴们也有类似的打算,所以决定组团卷一波,对 React 本身探个究竟。
xiaofeng123aa
2022/11/02
1.6K0
React 并发原理
就在前几天,我们讲了两篇关于React 18性能优化和React Server Componment的文章介绍。其中大部分篇幅,都是基于RSC的.
前端柒八九
2023/09/10
5010
React 并发原理
React 性能优化新招,useTransition
在 React 中,有一个高大上的概念,叫做并发模式 Concurrent React。在并发模式中,引入了两个新概念:任务优先级、异步可中断。当一个任务正在 Reconciler 阶段执行时,如果此时 Scheduler 发现了一个优先级更高的任务,那么,React 可以把正在执行的任务中断,从 Scheculer 中把优先级更高的任务拿过来执行。
用户6901603
2023/12/28
5290
React 性能优化新招,useTransition
新老react架构差异
React重构了,从v15升级到了v17,重构了整个架构,首先我们来聊聊v15。
用户3986961
2022/03/15
7010
新老react架构差异
react源码解析3.react源码架构
在真正的代码学习之前,我们需要在大脑中有一个react源码的地图,知道react渲染的大致流程和框架,这样才能从上帝视角看react是怎么更新的,来吧少年。
用户9002110
2021/12/03
4250
React Concurrent Mode 初识&探秘
今天的文章来得晚了一点,就是为了等这个视频,给我们自己的大会做个小推广~ 腾讯 TWeb 前端技术大会,将于 10 月 24 日 9 点正式举办!线上直播票限时优惠进行中,请点击下方视频内链接报名参会,了解业界领先技术方向与实践,一起跟大厂技术大咖交流~ 1. 引言 在使用 React 之前,不知道小伙伴们有没有遇到过 更新卡顿 的问题,如下为 React 应用更新时的火焰图,JS 执行 287 ms 后,渲染任务才开始(25.4ms)。 主流浏览器刷新频率为 60Hz,即每 16.6ms 浏览器刷新一
用户1097444
2022/06/29
8650
React Concurrent Mode 初识&探秘
react源码解析3.react源码架构
在真正的代码学习之前,我们需要在大脑中有一个react源码的地图,知道react渲染的大致流程和框架,这样才能从上帝视角看react是怎么更新的,来吧少年。
全栈潇晨
2021/06/02
4760
react源码解析3.react源码架构
react源码解析3.react源码架构
在真正的代码学习之前,我们需要在大脑中有一个react源码的地图,知道react渲染的大致流程和框架,这样才能从上帝视角看react是怎么更新的,来吧少年。
用户9264421
2021/12/13
5310
React 18快速指南和核心概念解释
React 18为并发渲染api奠定了基础,未来的React特性将在此基础上构建。这个版本主要关注性能的改进和渲染引擎的更新。
小柔
2023/10/14
5170
React 18快速指南和核心概念解释
相关推荐
React 18不再依赖Concurrent Mode开启并发更新了
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档