社区首页 >问答首页 >NLP结构问题(进行特征提取的最佳方法)

问NLP结构问题(进行特征提取的最佳方法)
EN

Stack Overflow用户

提问于 2019-07-02 03:56:58

回答 1查看 54关注 0票数 0

我正在建设一个NLP管道，我试图让我的头脑在优化的结构。我目前的理解如下：

Step1 -文本预处理a，b.词组移除，c.词干，d.
步骤2-特征提取
步骤3-分类-使用不同类型的分类器(linearSvC等)

从我在网上读到的内容来看，有几种关于特征提取的方法，但是没有一个可靠的例子/答案。

有可靠的特征提取策略吗？我在网上读到，你可以在ScikitLearn b. TF中做一个矢量图，但我也读到你可以使用部分语音或word2Vec或者其他嵌入和命名实体识别。
使用这些产品的最佳过程/结构是什么？
在文本预处理上，我是在df上的文本列上进行处理，它的最后一个修改版本是我在分类器中用作输入的内容。如果您做了特征提取，您是在同一列中这样做，还是创建了一个新的列，并且只向分类器发送来自该列的特性？

提前谢谢你

jupyter-notebook

EN

回答 1

Stack Overflow用户

发布于 2019-07-02 04:17:59

预处理管道主要取决于您要解决的问题。TF-以色列国防军、字嵌入等的使用有自己的限制和优势。

您需要了解问题以及与其相关的数据。为了充分利用这些数据，我们需要实现适当的流水线。

特别是对于与文本相关的问题，您会发现单词嵌入非常有用。在需要解决问题时，TF-以色列国防军是有用的，它强调频率较低的词语。另一方面，字嵌入将文本转换为N维向量，而N维向量可能显示出与其他向量的相似性。这可能会给您的数据带来一种关联感，并且模型可以学习到可能的最佳特性。

在简单的情况下，我们可以使用一袋文字表示来标记文本。

因此，您需要找到解决问题的最佳方法。如果您解决的问题与著名的NLP问题非常相似，比如IMDB审查分类、Twitter数据上的情感分析，那么您可以在互联网上找到许多方法。

票数 1

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/56851945

复制

相关文章

在OSX上安装和使用ROS

python bash bash 指令 mac os

参考链接：https://github.com/mikepurvis/ros-install-osx

zhangrelay

2022/04/29

9710

Excel催化剂开源第30波-在Excel上尽情地使用LINQ

对于笔者这样的数据分析工作者来说，对数据库有较深的掌握，当然少不了对SQL查询的深度使用，如果在编程的世界中，可以复用这样的能力，真的是一件多么令人高兴的事情。

Excel催化剂

2021/08/19

1.8K0

pycharm使用pip安装模块时提示： No module named pip

java https 网络安全

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/174545.html原文链接：https://javaforall.cn

全栈程序员站长

2022/09/27

1.2K0

Mac OSX 上安装yarn

yarn https java node.js 网络安全

如果从来没改过这个.bash_profile文件（可能会提示你“已锁定”），你可能需要先把这个文件的内容复制到另一个txt（其它类型）文件中，之后:

全栈程序员站长

2022/09/01

1.6K0

Mac OSX 上安装yarn

PROTAC 降解剂化合物库 | MedChemExpress

A1874 是一种以 nutlin 为基础的、BRD4-降解的 PROTAC，DC50 值为 32 nM (诱导细胞内的 BRD4 降解)。有效抑制多种癌细胞增殖。

MedChemExpress

2023/02/27

2230

PROTAC 降解剂化合物库 | MedChemExpress

使用pip安装模块时，提示MemoryError

在使用pip安装依赖模块时，报错如下：图片解决方法：添加 --no-cache-dir参数 pip3 --no-cache-dir install -r *** 安装时遇到的其他问题：设置python源命令：pip3 config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple 提示没有config参数；解决办法：升级pippip3 install -U pip pip install --upgrade pip 提示:E

JQ实验室

2022/11/18

1.6K0

钙通道阻滞剂/拮抗剂的应用 | MedChemExpress

我们都知道钙、钾、钠离子对于维持个体内环境的重要性，离子通道一直是个有趣而复杂的话题。它们就像为某种物质专属定制的“门”或 VIP 通道，不仅分类繁多，还有着严密的“门控”机制。

MedChemExpress

2023/03/06

6040

钙通道阻滞剂/拮抗剂的应用 | MedChemExpress

Install Scrapy on OSX|mac OSX 上安装Scrapy[SYN:gejoin.com]

bash bash 指令 scrapy xml

顺利的话，一句命令搞定： sudo pip install Scrapy OSX还是需要额外一些包或升级的，包括：

gigiwangs

2019/03/01

7930

在Mac OSX下安装和使用GO语言

Go语言是Google新推出的结合了动态语言和静态语言优势的一个新兴的语言。下面介绍一下如何在Mac系统下安装和使用这个语言。

EltonZheng

2021/01/26

1.5K0

DID | 安慰剂检验

简单介绍一下实证论文中双重差分法（DID）的安慰剂检验（Placebo Test）在Stata中如何操作。

kemosabe

2021/08/27

5.5K0

【业界】世界反兴奋剂机构使用人工智能来识别兴奋剂作弊

AiTechYun 编辑：xiaoshan.xiang Olivier Niggli透露，世界反兴奋剂机构（WADA）正在考虑通过人工智能来帮助该组织在运动员数据中发现违规行为 WADA计划在其反兴奋

AiTechYun

2018/03/27

5490

【业界】世界反兴奋剂机构使用人工智能来识别兴奋剂作弊

Excel催化剂开源第29波-在Winform上使用富文本编辑器控件

编程算法 vba html github git

富文本编辑器，一般都是BS架构专利一般，好像百度有一个开源的比较出名，但无奈这些都只能用在JS上，在BS网页端开发上使用。像Winform开发的VSTO，只能羡慕的份。和一般Winform上用的RichText控件，别人BS的富文本编辑器就强大得多。

Excel催化剂

2021/08/19

9660

在Pycharm安装库时，报错提示：python中的pip版本过低。「建议收藏」

java https python 网络安全

但是在执行更新pip指令：python -m pip install --upgrade pip后。直接在cmd中输入指令后，显示：在anaconda中的pip版本已经是最高了。

全栈程序员站长

2022/09/28

2.3K0

在Pycharm安装库时，报错提示：python中的pip版本过低。「建议收藏」

李伟坚（Excel催化剂）：带你全面认识《Excel催化剂》系列功能

windows server 大数据数据库数据分析 sql

本次要介绍的是一款名叫《Excel催化剂》的 Excel 插件，也是目前国内技术含最高的 Excel 插件，共计80大类300个细分功能、180个自定义函数，涉及人工智能、数据库、powerbi 等诸多高大上的内容，让Excel的能力边界得到前所未有的扩展。

寒树Office与RPA

2019/11/29

3.4K0

openwrt 上python pip 安装

一，首先安装python2.7 opkg update opkg install python 二，然后从官网上下载pip安装脚本，注意加上–no-check-certificate wget https://bootstrap.pypa.io/get-pip.py --no-check-certificate 三，直接运行 get-pip.py python get-pip.py image.png

qinyang

2018/06/05

7.7K0

在提取 Docker 映像时解决“未找到清单”错误

容器镜像服务

如果您尝试拉取 Docker 映像并且它显示未找到清单错误，那么您需要了解如何解决它。

网络技术联盟站

2022/03/21

1.5K0

在提取 Docker 映像时解决“未找到清单”错误

个人永久性免费-Excel催化剂功能第18波-在Excel上也能玩上词云图

腾讯云图数据可视化中文分词腾讯云开发者社区

原文在简书上发表，再同步到Excel催化剂微信公众号或其他平台上，文章后续有修改和更新将在简书上操作，其他平台不作同步修改更新，因此建议阅读其他出处的文章时，尽可能跳转回简书平台上查看。

Excel催化剂

2021/08/19

3650

用科创板给国产中间件打上一剂兴奋剂！

oracle 软件中间件

一波三折后，中创软件商用中间件股份有限公司（下称“中创软件”）正稳步推进上市进程，目前已经通过上市委会议。

数据猿

2023/03/03

3580

用科创板给国产中间件打上一剂兴奋剂！

业务安全-DevSecOps 的催化剂

前言 DevSecOps的困境产品鄙视研发，研发又鄙视运维，运维呢又鄙视安全。业务和产品说：不是我设计这么好的业务产品，你研发再牛也没用，测试、运维、安全都是我养的。研发说：要不是我研发这么牛的

DevOps时代

2018/02/02

9010

业务安全-DevSecOps 的催化剂

python使用pip卸载和安装库「建议收藏」

python https 网络安全

问题出在哪呢？细心的同学会问了。其实呢，pip虽然是python的自带工具，而且安装了python之后会自动安装上pip，但pip工具并不能在python中打开哦！下面我们演示如何在命令行中退出python，之后打开pip：

全栈程序员站长

2022/11/02

1.5K0

相似问题

如何在CentOS中安装紧缩剂？

15

其他语言的紧缩剂

14

在OSX上安装Typesafe活化剂

69

在Windows上安装php增强剂时遇到的困难

23

DataNucleus增强剂flakey？

512

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例