2回答
我想标记化下一个单词"SINGULAR OF MINIMUM QUANTIA“写在多行中。如果你在一行中有完整的单词，那就很简单了 foo bar foo bar foo bar SINGULAR EXECUTIVE OF MINIMUM QUANTIA foo bar foo bar foofoo bar foo bar foo bar foo bar foo bar foo bar foo bar foo bar foo barfoo bar foo bar foo bar
浏览 16提问于2019-10-02得票数 1
回答已采纳
1回答
我不一定需要在词法分析器中完成它，尽管这对我来说似乎是最干净的(或者在词法分析器和解析器之间)。根据我对antlr4的了解，这是我能找到的最接近的解决方案，但它需要为每个关键字标记提供完整级别的非终结符。请注意，根据Antlr4大写的单词或标记，小写的单词是非末尾的。，并在本例的解析器中完成所有这些工作。它在我正在分析的语言中不能完全工作，因为有相当多的关键字有“正常”拼写，如"Set - -Alias“或
浏览 0提问于2021-03-19得票数 0
1回答
如何在stopwords.txt文件中使用“制作过程”、“准备方法”之类的短语。我已经尝试了提到的解决方案，但不能succeed.Kindly指导我。
浏览 0提问于2015-06-23得票数 0
我有一个程序，它在html格式的文档上进行文本处理，基于没有html信息的同一文档上的信息。我基本上是在未格式化的文档中找到一个单词或短语，然后在格式化的文档中找到相应的单词，并使用HTML标签更改单词或短语的外观，使其突出显示(例如，加粗或更改颜色)。
这就是我的问题。有时，我想对可能是html标记一部分的单词或短语进行格式化(例如，我可能想对单词"f
浏览 2提问于2011-04-09得票数 0
回答已采纳
我想对包含相邻单词的句子进行标记化，如下所示：
“这是我想要标记的samplestring。”在上面的例子中，有两种情况"samplestring“和"Iwanttotokenize”，其中出现了相邻的单词。你知道怎么把这些单词做成记号吗？对于这句话，理想的输出应该是(每行一个标记)：这是我想标记化的示例字符串
浏览 0提问于2013-01-22得票数 3
1回答
我正在尝试对一组短语进行分析，我不知道“自然语言处理”对我有什么帮助，也不知道是否有人能与我分享他的知识。首先是街道本身的提取。据我所知，NLP库可以帮助我对短语进行标记化，并执行分析，从而获得名词(例如)。我假设我需要将该分析与街道数据库进行比较，但我不知道哪种方法是最佳方法。
此外，我想推断严重程度
浏览 0提问于2012-09-17得票数 1
回答已采纳
如何在中使用npm ？我正在尝试自动化我的文档以进行解析和样式化。下面是来自标记文档的示例：marked(markdownString, function (err, content) {如何将标记字符串作为文档传递(如形成一个名为README.md的文件)，而不是手动转义字符串
浏览 23提问于2018-02-18得票数 6
回答已采纳
我有一个整齐的大型数据集，其中的列包含文本响应(即，在拨款申请中)，行作为申请拨款的单个组织。我正在尝试查找以特定单词分组的主题和短语(例如，"funder"/"funding")。更具体地说，哪些形容词和动词与这些标记组合在一起？因此，“基金”可以与动词如“创建”、“雇用”和形容词短语如“新网站”、“人才”组合在一起。 我正在用R做这件事，有没有人有推荐这样做的包或程序？我找到了cleanNLP，但不确定这是不是最方便的包。我需要对所有单词</e
浏览 22提问于2019-02-21得票数 1
初学者的问题，我有一个250个句子的文本文件，我已经对它们进行了标记化，并将这些标记符放在一个列表中，如下所示现在，我想使用WordNetLemmatizer对每个单词进行词汇化但是这种情况发生了，请告诉我出什么事了。
浏览 0提问于2017-02-12得票数 0
1回答
所以我对Python非常陌生，我只是想知道我是否可以使用它来搜索跨多行的文本。下面是我的数据截图：
更清楚的是，我想要做的是搜索包含多个单词的短语或表达式，例如“新泽西”，但是，每个单词组成一个单独的行，因此我不知道如何在查询中包含多个行。如果可能的话，我还想创建一个新的列，它将标记任何匹配的'M‘和没有’n‘的匹配。所有的帮助都是非常感谢的，以使这更容易为我！
浏览 2提问于2021-05-22得票数 1
回答已采纳
3回答
所以我有一个json文件，我把数据导入到python中。 我在JSON中有一个agentId字段和一个agentText字段。]varToken
浏览 21提问于2019-07-03得票数 0
回答已采纳
我在我的多行文本框中添加了一些文本。它有一些Html标记，例如，txtSomeMultilineTextbox.Text = HttpUtility.HtmlEncode(someText.ToString());
此多行文本框用于只读条款和条件框我想要格式化的文本在那里，如粗
浏览 3提问于2009-10-19得票数 2
回答已采纳
1回答
我有一个来自twitter的大数据集，我想对它进行标记化。但我不知道如何才能表示这样的动词：“寻找，起飞，成长等等。”这对我来说很重要。
浏览 21提问于2019-01-30得票数 1
我正在使用Antlr4对遗留语言进行标记化和解析，我的最终目标是生成C#代码并在模拟执行遗留语言的物理硬件的运行时环境中执行此代码。
模拟器和代码生成器工作得很好。
浏览 0提问于2015-07-18得票数 3
2回答
我正在阅读有关SOLR的文章，并将MySQL数据库索引到SOLR中。当字段被“规范化”时，这意味着什么？谢谢
浏览 1提问于2010-01-22得票数 3
回答已采纳
我需要格式化从用户到HTML的文本，但是输入是多行的，我必须将字符串中的所有“输入”替换为HTML标记。String message = messageEditText.getText().toString();
这是我想要格式化的信息。如何对字符串进行相应的格式化？
浏览 12提问于2014-10-03得票数 1
回答已采纳
3回答
在对文本字符串进行标记化时，我需要提取标记化后的单词的索引。(在原始字符串中)。我不能仅仅依靠空格，因为有些单词会变成2个标记。此外，我不能只搜索字符串中的标记，因为单词很可能会出现多次。字符串：
The child some how builds a boaty c cap
浏览 1提问于2012-09-13得票数 0
回答已采纳
我正在使用spacy的德语模型对我的德语文本语料库进行标记化。由于目前spacy只有很小的德语模型，我无法使用spacy本身提取词向量。因此，我在这里使用了fasttext的预训练单词嵌入：
现在，facebook在提取单词嵌入之前，已经使用ICU标记器进行标记化过程。我正在使用spacy，谁能告诉我这是不是可以？我觉得spacy和ICU标记器的行为可能会不同，如果是这样的话，我的文本语料库
浏览 2提问于2018-06-18得票数 2
嗨，我想知道是否有人可以提供一些关于在javascript中压缩两个字符串数组的最快/最有效的方法的建议。我正在开发一种基于用户输入的标签云类型的东西-输入的形式是书面文本，如博客文章或类似的形式。删除输入字符串中的所有标点符号，对其进行标记化，将每个单词与排除数组进行比较，然后删除任何重复项。对于输入文本中<
浏览 0提问于2010-02-22得票数 6
我已经看到，NLP模型(如 )利用WordPiece进行令牌化。在playing中，我们将像play和##ing.这样的令牌拆分为有人提到，它涵盖更广泛的范围外词汇(OOV)的词汇.请有人帮我解释一下WordPiece标记化是如何实现的，它是如何有效地处理稀有/OOV单词的？
浏览 0提问于2019-03-27得票数 52
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
