我正在运行一个使用 (v3.0.5)对输入文本进行标记化的 (v0.63.0) web应用程序。在web服务运行了一段时间后，总内存使用量变得太大，SpaCy抛出MemoryErrors，导致web服务出现500个错误。正如您在代码中看到的，我试图通过限制生成的令牌数量和捕获MemoryError来防止该问题。但这两种方法似乎都没有任何效果(我确实理解从概念上捕获MemoryError通常是行不通的)。从错误消息中，
浏览 39提问于2021-06-01得票数 1
回答已采纳
1回答
我有兴趣在我自己的开源项目中使用spaCy python库。我正在寻找的是一个基于REST的API。通过公共REST接口公开spaCy API的必要方法或推荐的方法是什么？我已经看过和了。但是似乎没有官方的REST可用，每个人都必须自己做。如果是这样，将python方法/脚本包装到REST中的最佳方法是什么？似乎有像、和这样的框架来帮助我做到这一点。但是，这是使用
浏览 1提问于2020-04-01得票数 2
回答已采纳
我使用FastAPI的spacy来处理一些自然语言处理任务的请求。我正在加载spacy large模型，而API启动并使用该模型为请求提供服务。我看到的是，多个请求的时间随着并行请求的数量线性增加。如何将spacy与FastAPI集成，以便在不增加时间的情况下同时处理多个请求。我有一个4核的CPU，一个请求大约需要4ms。我想在4毫秒内同时处理4
浏览 84提问于2021-01-08得票数 0
我只是做了一个快速api，并使用码头容器部署它。但是，当在浏览器上运行127.0.0.1:5000时，它有空响应。Main.py文件：from starlette.status import HTTP_302_FOUND,HTTP_303_SEE_OTHERimport spacyfrom mangum import Mangum
nlp = spacy.load("en_
浏览 12提问于2022-02-27得票数 0
回答已采纳
我有一个spacy对象，类型为<class‘spacy y.tokens.doc.Doc’>import requestsrequests.post(API_URL, json={'doc': spacy_doc}, timeout=3)ERROR:Object oftype 'Doc&
浏览 2提问于2020-11-03得票数 0
1回答
我已经使用Python和构建了一个应用程序接口。使用这个API，我的目标是可以训练自定义的spaCy自然语言处理模型。这是我的代码：main.pyfrom fastapi import FastAPI, HTTPExceptionimportsubprocess
app
浏览 1提问于2021-03-02得票数 1
1回答
我设法安装了spacy，但当我尝试使用nlp时，出于某种奇怪的原因，我得到了一个MemoryError。我写的代码如下：import re #replace,newstring) return new
浏览 2提问于2019-01-03得票数 1
我想用spacy来标记它们。nlp = spacy.load('de') temp_doc = nlp(document)它可以处理少量的文档，但是如果我想对所有文档进行标记，那么它就会给出一个"MemoryError“。\shape_base.py", line 234, in vstack
浏览 0提问于2018-06-06得票数 0
回答已采纳
我正在尝试使用Docker部署我的fastAPI应用程序。这是一个更大的系统的一部分，我试着用一个对接者来连接彼此。它在本地运行良好，但是当我尝试部署它时，它没有找到我的子目录。文档，我还尝试手动复制main.py和recognition_service目录(并设置python )，但它没有更改错误(虽然可能做错了)。，因为这是我第一次使用Python使用“更大”的应用程序，但我希望在这里找到一些帮助。顺便提一句，在
浏览 12提问于2022-08-02得票数 2
回答已采纳
在更新使用小型模型的spacy_en_core_web_lg之后，我的fastapi服务器出现了耗尽内存的问题。当运行gunicorn时，会产生4名工蚁，并且根据内存使用情况，我认为每个工作人员都在加载模型。有没有一种方法可以让我在员工之间共享模型，这样我就不需要在每个员工中加载它了？
浏览 0提问于2021-08-26得票数 3
回答已采纳
我已经将大约40 of的英文维基百科提取成纯文本。我会用它来构建一个带有gensim的word2vec模型。要做到这一点，我需要先把它分成几个句子。我该怎么做？我试过：import spacy f.write(str(s
浏览 3提问于2020-07-24得票数 0
回答已采纳
('GoogleNews-vectors-negative300.bin')MemoryError: Error assigning 18446744072820359357 bytes我也尝试过使用.gz打包的向量；或者用gensim加载并保存它们，以一种新的格式：model = Word2Vec.load_word2vec_format正确的方法是什么？我可以将自己
浏览 6提问于2017-02-07得票数 23
回答已采纳
我目前正在编写一个脚本，从一个大文件(5‘m压缩，大约30’m的数据被读取)中读取reddit注释。我的脚本读取注释，检查一些文本，解析它们，然后将它们发送到一个队列函数(在一个单独的线程中运行)。无论我做什么，我总是在一个特定的迭代上得到一个MemoryError (如果它很重要的话，数字8162735 )。我似乎无法处理这个错误，Windows只是在python命中时一直关闭它。下面是我的脚本：from tqdm import tqdm
import bz
浏览 0提问于2016-07-16得票数 0
高层次背景
将文档列表流到PhraseMatcher (它将on_match传递给rule
浏览 1提问于2019-03-28得票数 2
我已经导入spacy软件包来加载英语模块，如下所示： nlp = spacy.load('en_core_web_lg') # Parse the text with spaCy. This runs the entire pipeline.doc = nlp(text)
预期结果是doc在使用spacy加载英语模块时得到以下错误时，应该包含解析的</
浏览 0提问于2019-02-11得票数 1
1回答
_resize
Exception ignored in: 'spacy.strings.StringStore._resize MemoryError<
浏览 0提问于2020-03-25得票数 0
2回答
我正在尝试记录一些预期的错误。最初，我的脚本是这样写的： logger.error(f'No: {n} - {filename} =在=标志之后，MemoryError日志似乎是空白的 except (BadZipFile, MemoryError
浏览 0提问于2020-10-10得票数 0
我正在寻找一种合适的方法来查找在我正在查看的一些文档中的共指实例中使用了特定代词的实例。一是我的记忆力有问题，这让我认为我没有以一种非常经济的方式来做这件事，但我也不确定我是否以正确的方式去做。我们的想法是识别它的所有实例，目前它们在共同引用实例中，但我可能想要扩展这一点。然后，我想继续用共指关系的中心词替换所有这些实例。目前，我的代码如下所示：
import spacy<
浏览 2提问于2019-02-05得票数 1
当我想处理一个巨大的csv文件时，我得到了一个MemoryError MemoryError: Unable to allocate 1.83 MiB for an array with shape (disable=["ner",当我使用多个线程时text.split()
tokenized_texts = [to
浏览 2提问于2021-06-01得票数 1
回答已采纳
我使用FastAPI和@app.websocket来侦听传入的websockets。FastAPI (或者下面的Starlette或Uvicorn )是如何进行乒乓球心跳的？这个可以配置吗？from fastapi import FastAPI, WebSocket
def ws(websocket: WebSocket):
浏览 8提问于2020-09-11得票数 7
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
