1回答
我需要使用谷歌的SentencePiece从 SentencePiece Github 我已经通过pip安装了它，我想运行示例命令来训练一个模型，比如 spm_train --input=<input另外，我如何知道pip安装何时允许我使用自述文件中描述的终端命令？ 因为当我安装一个非常类似的程序Sennrich BPE时，我只需要通过pip安装，然后在我的终端上运行命令
浏览 59提问于2019-03-21得票数 1
回答已采纳
You need to have sentencepiece installed to convert a slow tokenizer to a fast one.我在使用变形金刚版本的'4.1.1'
浏览 37提问于2020-12-23得票数 19
回答已采纳
我使用的是tensorflow 2.0版本，并安装了tf-句子。!pip install tensorflow==2.0.0-rc1
!/tf_sentencepiece/_sentencepiece_processor_ops.so.1.11.0, 3.6/dist-packages/tf_sentencepiece/_sentencepiece_processor_ops.so/tf_<
浏览 16提问于2019-10-28得票数 2
回答已采纳
1回答
因此，我试图编译和安装以下工具：% cd sentencepiece% git clone https://github.com/google/sentencepiece.git
% cd sentencepiece-DCMAKE
浏览 0提问于2021-09-01得票数 1
回答已采纳
__name__--> 523 raise ImportError(SENTENCEPIECE_IMPORT_ERROR.format(name)) 525
T5Tokenizer requires the SentencePiece library but it was notpip install sentencepiece
from tr
浏览 57提问于2020-12-25得票数 4
从命令行导入方法：python -m spacy download fr_dep_news_trfBuilding wheels for collected packages: sentencepiece从命令行导入方法：pip install https://github.com/explosion/spacy-models/releases/download/fr_dep_news_trf-3.2.0src/sentencepiece</e
浏览 61提问于2022-04-04得票数 0
为了使用以下，正在尝试导入库tf_sentencepiece。使用macOS，已经通过pip安装库，并得到：Requirement already satisfied: tf_sentencepiece/_sentencepiece_processor_ops.so.1.13.1, 6): Library not loaded: @rpath/libtensorflow_framework.so/_
浏览 25提问于2019-07-17得票数 1
回答已采纳
我试图在Windows中使用sentecepiece，同时在tensorflow中将通用语句编码器实现为。我知道现在支持库：
我也尝试过用pip install --user sentencepiece安装pip install --user sentencepiece，并且有很多版本。我也尝试过安装tf_sentencepiece，但是它引发了一个错误：anaconda3\lib\site-packages\tf_sentencepiece\_sentencepiece_process
浏览 1提问于2019-06-25得票数 5
首先，我必须说我对UNIX命令、shell语言等不太熟悉。我愿意安装Google库SentencePiece (> https://github.com/google/sentencepiece)，这是一个依赖于fairseq脚本来预处理一些语音数据的库。我没有超级用户权限，因此我无法使用cmake以预先识别的方式安装它(意思是在/etc中)，我必须将它安装在一个自定义目录中。尝试在不使用sudo的情况下执行显然会返回一个权限错误。由于我不能执行ld
浏览 29提问于2020-12-22得票数 0
回答已采纳
运行fairseq-preprocess脚本将生成二进制文件，其整数索引对应于字典中的令牌in。
浏览 15提问于2022-06-06得票数 3
回答已采纳
3回答
导入tf语句时符号未定义
、、、
在我的MacBook (版本10.14.6)上，我成功地运行了一个Django应用程序，其中包括TensorFlow和tf- sentence (特别是为了使用通用句子编码器模型)。onDockerStartup.py
django_1 |
浏览 56提问于2020-01-06得票数 4
回答已采纳
1回答
系统中没有安装句子库。
、、、、
在使用pip install tf-models-official时，我在安装库时发现了以下问题： Using cached tf_models_officialsrc\sentencepiece/sentencepiece_model_pb2.py -> build\lib.win-amd64-3.10\sentencepiece
copying/sentencepiece_wrap.cxx /
浏览 69提问于2022-03-22得票数 5
1回答
我无法安装最新版本以便在python中使用它，因为我猜它引用了conda包。我尝试按照github上的包主页中的说明进行操作，并使用名为vcpkg的包管理器安装了最新版本。
浏览 5提问于2020-07-05得票数 1
火炬文本sentencepiece_numericalizer()输出一个生成器，其索引SentencePiece模型对应于输入句子中的令牌。从发电机，我可以得到身份证。例如>>> list_a = ["sentencepiece encode aslist_a))
浏览 0提问于2022-04-28得票数 0
回答已采纳
我只是尝试了拥抱脸网站的示例代码：`tokenizer = AlbertTokenizer.from_pretrained('albert-base-v2')``encoded_input = tokenizer(text, return_tensors='pt')`TypeError：“No
浏览 6提问于2021-01-23得票数 17
回答已采纳
我在启动语言模型的第一步就使用了fastai的句子片段处理器(SPProcesor)。
浏览 1提问于2020-01-17得票数 6
1回答
我使用torch.save()和torch.load()命令保存和加载模型。__setstate__ File "/usr/local/lib/python3.7/dist-packages/sentencepiece.py367, in Load File "/usr/lo
浏览 3提问于2021-04-02得票数 8
os-maven-plugin添加了一个分类器 <modelVersion>4.0.0</modelVersion><artifactId>sentencepieceos.detected.classifier}</classifier> </plugin>
<
浏览 26提问于2021-01-26得票数 2
1回答
X_train只有一个包含所有tweet的列。xlnet_tokenizer = XLNetTokenizer.from_pretrained(xlnet_model)
""" Gets tensors from text using the tokenizer provided"""
inps = [tokenizer.encode_plus(t,
浏览 0提问于2021-03-27得票数 0
我已经部署了一个使用tfhub模型的模型到tensorflow-使用一个码头服务。这里是包含在我的模型中的tfhub模型：
docker run -t --rm -p 8501:8501 \
-v "/docker_dir/model_tf_serving
浏览 0提问于2019-07-03得票数 8
云服务器
ICP备案
实时音视频
对象存储
云直播
腾讯云开发者
