我正在研究pattern标记器，我想我可以用但是后来发现分析器中只能有一个记号赋予器。如何实现我想要的？
浏览 9提问于2019-11-27得票数 1
2回答
假设我拿了一句话，换掉了一些单词。我从一个输入句子开始：然后我对它进行了标记化，并交换了一些单词。我得到了一个新单词的列表，比如：
['Hey', 'I', 'felt', 'somewhat', 'dreary', 'inside', 'toda
浏览 52提问于2019-06-13得票数 1
3回答
如何在C中用符号标记化句子
、、、、
我试图弄清楚如何对Unix命令进行标记化，但我不知道如何解决strtok()会拆分作为分隔符的任何字符的事实。例如，strtok(string, ". ")将删除句点和空格。我尝试对字符串进行标记化，可能是类似于ps aux( sort ( more，并且在括号前后有空格。即使我使用strtok(string, "(")，在
浏览 3提问于2020-02-09得票数 1
我正在尝试对任何文本中的单词进行标记化，例如：应该标记为"ça，me，plaét“。为此，我希望清除所有特殊字符中的字符串，然后将其拆分为空格。
浏览 3提问于2011-03-23得票数 1
回答已采纳
在对字符串进行标记化之后，它返回由单独单词和特殊标记组成的令牌列表。例如，如何解码哪个单词/字符被称为'UNK'令牌(如果有的话)？
浏览 6提问于2021-10-27得票数 0
回答已采纳
2回答
我使用下面的正则表达式来确定在某个标记之后找到的下一个单词：如何对其进行更新以确定标记后面的8个字符，包括空格或其他特殊字符(如-或/源码如下所示：no.: abc
marker
浏览 0提问于2012-07-20得票数 0
回答已采纳
1回答
我有一个特殊的正则表达式类型的要求。Get Carter,Tigerland,Super, The,Wolf, The.这里的"Super，The“和"Wolf，The”是一个单词。我需要将其标记化如下"Tigerland""Wolf, The"
我唯一要注意的是，单个单词中的逗号后面跟着空格</em
浏览 2提问于2014-02-13得票数 1
2回答
在给定的字符串中，函数应返回单词数字i因此，如果str为"My,. name is Jeff"，如果我调用getWord( 2 )，则返回的结果应该是name我尝试过计算单词之间的' '或'.'，但当有多个单词相继出现时，可能会变得复杂
那么，正确的算法是什么呢？
浏览 0提问于2017-05-29得票数 0
1回答
我正在使用OpenNLP JAVA API进行句子标记化，它使用空格字符对句子进行标记化，并拆分每个单词。例如，在一个句子中。OpenNLP拆分/标记化句子为快的狐狸结束狗
我想跳过单词“敏捷的棕色狐狸”和“懒狗”的标记
浏览 1提问于2016-03-12得票数 0
1回答
字符串标记化为单个变量
、、、
我有一个由数字和单词组成的数组，它们都放在一个字符串中，如下所示：如果用空格分隔的每个单词都像这样转到它自己的变量，我如何对这样的字符串和类似的字符串进行标记化，以将每个单词分配给一个单独的变量？
浏览 0提问于2015-08-16得票数 0
我正在寻找一种不应该使用标准标记器将$、@、#等特殊字符视为分隔符的方法。它可以通过使用空格标记器和单词分隔符过滤器的组合来实现。但我希望使用标准分析器，因为我不确定它是如何生成令牌的，以及如何利用标准令牌化器的其他好处。--谢谢
浏览 0提问于2015-07-16得票数 2
args wordNgrams、minn和maxn之间的区别是什么 例如，文本分类任务和Glove嵌入为pretrainedVectors ft.train_supervised(file_path,lr给定minn=2，maxn=3，对于单词[<I, I>], [<l, <lo, lo, lov,.....]，整个句子被转换为[I love, love you]等，其快速文本嵌入=(emb(爱)(作为一个完整的单词)+emb([I love, love you](因为wordNgrams=2)，这
浏览 31提问于2020-07-10得票数 1
回答已采纳
not的例子是使用空格对每个单词进行标记化，但我想不到的字符可能不是描述的一部分。这个解决方案在我的测试中有效。
是否有副作用或特殊情况下此操作会失败？或者，这是一个完全安全和可接受的方式，以获得其余的线？
浏览 0提问于2012-06-19得票数 1
回答已采纳
我想保持StandardTokenizerFactory对单词进行标记化的方式，但是添加另一个规则，通过连接(特别是删除所有空格)字段中的所有单词来创建标记。
浏览 2提问于2013-11-06得票数 0
我试图让ctag很好地处理ruby类和方法定义。我现在已经生成了一个ctag文件，该文件的工作原理是，如果我对以下内容进行可视化选择：从一整行看起来如下：然后按我现在正在尝试创建一个键盘快捷键，它将自动：
浏览 2提问于2017-04-28得票数 0
1回答
我基本上有一个完整的文档，在某种程度上包括text = "R E S U L T"，在我对它进行标记化之后，函数逐个字母地对其进行标记化，所以我想让计算机知道"RESULT“必须作为一个整体来标记化。关于如何消除文档中由空格分隔的单词的空格，有什么想法吗？
我在想，如何让计算机知道，如果它找到了像L
浏览 0提问于2021-07-10得票数 0
3回答
在对文本字符串进行标记化时，我需要提取标记化后的单词的索引。Mary didn't kiss John"[(Mary, 0), (did, 5), (n't, 8), (kiss, 12), (John, 17)]
其中0、5、8、12和17对应于令牌开始的索引(在原始字符串中)。我不能仅仅依靠空格，因为有些单词会变成2个标记。此外，我不能只搜索字符串中的
浏览 1提问于2012-09-13得票数 0
回答已采纳
我想根据为空格中的标记化添加特殊情况。该文档显示了如何将特定单词视为特例。我希望能够指定一种模式(例如后缀)。例如，我有一个这样的字符串其中<word-i>指定单个单词。我知道我可以通过下面的代码一次只处理一个特殊情况。但是我如何为它指定一个模式呢？
浏览 13提问于2017-06-17得票数 3
我正在尝试使用Rasa构建简单的聊天机器人应用程序，但如果单词中有下划线，我的机器人会给出置信度0。lstname
- userName- usrnme- userid 如果我通过了firstname，我得到了正确的意图和信心
浏览 24提问于2019-09-04得票数 0
我读过很多关于安卓是否可以进行基于SQLite的全文搜索的帖子，所有的答案都指出安卓的内置SQLite不支持自定义标记器。默认标记器考虑用空格或其他符号分隔的单词，但亚洲单词(如中文)需要其特殊的标记器，但Android不允许添加自定义标记器。
我读到的帖子是几年前的事了。最近的Android版本有什么更新吗？在将元组插入FTS3/FTS4虚拟表进行索引之前，是否可以人为地在每个单词之间添
浏览 3提问于2015-10-21得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
