如果是basic_english,則返回_basic_english_normalize()函數,該函數首先對字符串進行歸一化,然後用空格分割。如果是可調用函數,它將返回該函數。如果是分詞器庫(例如 spacy、moses、toktok、revtok、subword),它會返回相應的庫。 language-默認en 為字符串句子生成分詞器函數。 例子 >>> import torchtext >>> ...