如何从spaCy标记重建原始文本，即使在使用复杂的空格和标点符号的情况下也是如此

import spacy
from spacy.tokens import Doc

nlp = spacy.load('en_core_web_sm')

def tokenize_text(text):
    words = text.split(' ')
    spaces = [True] * len(words)
    doc = Doc(nlp.vocab, words=words, spaces=spaces)
    return doc

def reconstruct_text(doc):
    text = ''
    for token in doc:
        if token.text.startswith(' ') or token.text.endswith(' '):
            text += token.text
        else:
            text += ' ' + token.text
    return text.strip()

text = "如何从spaCy标记重建原始文本，即使在使用复杂的空格和标点符号的情况下也是如此"
doc = tokenize_text(text)

reconstructed_text = reconstruct_text(doc)
print(reconstructed_text)

如何 从 spaCy 标记 重建 原始 文本 ， 即使 在 使用 复杂 的 空格 和 标点符号 的 情况下 也是 如此