首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    基于最长词匹配算法变形的分词系统( 文舫工作室贡献 )

    这个分词程序是文舫工作室贡献出来的。     强烈推荐看看文舫工作室的开发日志,他们的激情可以鼓励很多人......         自从小叮咚分词程序发布后,很多软件行业的朋友们都来信索取,因为定位的问题,所以小叮咚的分词程序和 ICTCLAS的算法完全不同的。     小叮咚的分词程序的定位是为搜索引擎服务的。可以参考:一种面向搜索引擎的中文切分词方法     ICTCLAS和基于最长词匹配算法变形的分词系统 是面向语法,语义的。     不同的应用导致了不同的分词算法,但是正如车东所说的,我们现在应该跳过分词这个点,面向分词应用了。     我很赞同。     如果大家需要 基于最长词匹配算法变形的分词系统 的代码,可以到这个页面下载申请书,填写后我会给你     发送一份相关代码。      关于分词文德是专家,大家可以下载 Lucene使用者沙龙 中的录音,听听他对分词的一些经验。     这些申请书会在以后整理出来共享的。     相关连接: 文舫工作室的网址 Lucene使用者沙龙

    02

    一种面向搜索引擎的中文切分词方法

    首先说一下搜索引擎切分词的产生的原因。     在进行全文检索时,首先将要检索的内容分割成较短的文字序列。然后生成在每个文字序列中所包含字符串的对应表(索引)。当输入检索语句后,也同样进行分割,与索引进行比较。也就是说,两者即使包含有同样的文字排列,但分割方法不同的话也不能正确检索。     文字的分割方法主要有两种,分别是 词语解析索引 和 文字索引 。     词语解析索引是按照字典中最小的词语单位对文本进行分割,既按词义切分。如中科院的 ICTCLAS。     文字索引是不考虑文本中词的意义,只是按照一定的字长的单位进行切分。如 车东的二元切分法。

    02

    R语言进行分析,比较详细的一篇,亲测过哦

    要分析文本内容,最常见的分析方法是提取文本中的词语,并统计频率。频率能反映词语在文本中的重要性,一般越重要的词语,在文本中出现的次数就会越多。词语提取后,还可以做成词云,让词语的频率属性可视化,更加直观清晰。比如下图: 这是根据总理2014年的政府工作报告制作的可视化词云,分词和词云的制作都是用R,词频的统计用了其他软件。这个图能很直观看到,工作报告的重心是"发展",这是大方向,围绕发展的关键要素有经济建设、改革、农村、城镇等要素。不过这张图中的词语还需要进行优化,因为有些术语或词组可能被拆分成了更小的词语

    011

    开源中文分词框架分词效果对比smartcn与IKanalyzer

    中文分词一直是自然语言处理的一个痛处,早在08年的时候,就曾经有项目涉及到相关的应用(Lunce构建全文搜索引擎),那时的痛,没想到5年后的今天依然存在,切分效果、扩展支持、业务应用等方面依然不甚理想。收费的版本不提了,原因自不必言表,开源版本中,发现之前曾经活跃的版本,大多已经没落(好几年没更新了),存活下来的寥寥无几。我是一个守旧的人,评估版本的选择有些保守,至少目前为止,只看1.0正式版本之后的版本,0.XX的不在考虑范围之内,用了一个周末的时间,对比了十多款的样子,个人感觉源于中科院ICTCLAS的smartcn和IKAnanlyzer效果还是不错的。

    05
    领券