batch_encode_plus()和encode_plus()有什么区别？
batch_encode_plus()和encode_plus()有什么区别？
提问于 2021-10-13 11:04:44
我正在使用T5转换器做一个项目。我读过与T5变压器模型相关的文档。在使用T5Tokenizer时，我有点困惑于标记我的句子。
请有人帮助我理解batch_encode_plus()和encode_plus()之间的区别，以及何时使用这两个标记器。
回答 1
Data Science用户
回答已采纳
发布于 2021-10-13 11:49:40
另见huggingface文档，但是顾名思义，batch_encode_plus标记了一批(对)序列，而encode_plus只标记了一个序列。查看文档，这两种方法都是不推荐的，您可以使用__call__，它本身检查输入是否批处理，并调用正确的方法(查看源代码中的is_batched变量和if语句)。
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://datascience.stackexchange.com/questions/103103
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号