人工智能—自然语言处理方案概述

自然语言处理技术是幽澜智能机器人系统的其中一项应用，采用了循环神经网络、卷积神经网络等先进的机器学习技术，结合了千亿级全球多语言文本语料数据资源，构建了精准高效的多语自然语言处理算法，包括分词、词性标注和命名实体识别、敏感性分析、情感分析、自动摘要、关键词抽取、文本分类、文本质量评估、热点聚类、事件要素提取、知识图谱构建等各个层面，能够为深度分析全球跨越语言文本提供一站式信息处理解决方案。

更多自然语言处理方案应用服务：

1、分词及词性标注

分词是指按照语法规范，将字序列组合成词序列。词性标注是指给定词序列找出最可能的词性序列。分词是自然语言处理的基本单位，分词及词性标注是各种NLP算法的基础。由此类自然语言处理能力延伸出来的智能产品可以提供面向各种应用场景的定制化统计分词算法，可满足多语言需求。

2、命名实体识别

命名实体识别是信息提取、问答系统、语义理解、机器翻译等应用的重要工具，在自然语言处理中具有基础性作用。采用统计机器学习方法，利用大规模语料库进行训练，以便很好地应对中英文多种场景。

3、情感分析

文本情感分析算法能够自动分析识别出篇章中表达的观点或态度感情倾向，并给出能够表达情感的极性和强度的情感倾向度指标。情感分析算法用于情感极性的分析。在舆情监控、话题监督、口碑分析等领域具有不可替代的作用。

4、关键词提取

关键词提取算法用于文本主治的提取，帮助用户快速获取核心内容。关键词提取算法综合了多种机器学习方法和大量的语料资源，支持多个语种，并可以利用开放数据快速生成其他语种的关键词提取工具。

5、文本摘要

自动文摘算法指自动生成一篇简单连贯的短文，表达出原始文献中的核心内容。实现将原文信息的高效压缩，辅助用户高效阅读。采用基于数据驱动的机器学习方法，可适应互联网大数据的特点，具有不受领域限制、计算效率高、生成速度快、摘要长度可控制等优点，能够满足搜索引擎、智能问答等应用需求。

6、语种识别

语种识别算法是指自动判定输入文本的语言种类。

7、文本分类

文本分类算法是指按照约定的分类体系或标准，自动为文本标记所属类别。文本分类算法能将非结构化信息按照给定分类体系，是海量数据应用和管理的基础，应用场景十分广泛。

8、敏感性判定

敏感性判定算法主要用于敏感信息的过滤，以统计机器学习模型为基础，结合人工标注的大规模语料资源，结合基于语言学知识和词向量构造的多语敏感词词典，实现了统计与规则想结合的敏感性分析系统。

9、文本质量评估

文本质量评估算法主要用户互联网采集数据的过滤和清晰，提高信息质量，提升用户体验。文本质量评估算法采用机器学习、智能识别等技术，能够有效识别包含乱码、代码、脚本等噪声数据和行文随意、语法混乱的灌水数据。

10、事件要素提取

事件要素提取算法能够将非结构化的自然语言文本进行结构化，可用于新闻事件的深度分析与挖掘。

11、多语言词向量

词向量是深度学习中常用的一种词语表示方法，既能表达词本身又能表达与其他词语的语义关联。词向量技术是将自然语言词汇进行高效量化表达的一种重要方式。

自然语言处理技术