TokenizerFunction type
可传递给 recognizeChoices()
、findChoices()
或 findValues()
的备用断字符的签名。
type TokenizerFunction = (text: string, locale?: string) => Token[];
type TokenizerFunction = (text: string, locale?: string) => Token[]
注解
defaultTokenizer()
相当简单,只是在空格和标点符号上中断。