温馨提示×

spaCy中怎么进行文本分词

小亿
92
2024-05-11 19:08:53
栏目: 编程语言

在spaCy中,可以使用nlp模型中的tokenizer对文本进行分词。以下是一个使用spaCy进行文本分词的示例代码:

import spacy

# 加载spaCy的英文模型
nlp = spacy.load("en_core_web_sm")

# 要处理的文本
text = "This is a sentence for tokenization."

# 对文本进行分词
doc = nlp(text)

# 打印每个词的分词结果
for token in doc:
    print(token.text)

在这个示例中,首先加载了spaCy的英文模型,然后使用该模型对文本进行分词,最后打印出每个词的分词结果。

0