TokenizerFunction type

可传递给 recognizeChoices()findChoices()findValues()的备用断字符的签名。

type TokenizerFunction = (text: string, locale?: string) => Token[];
type TokenizerFunction = (text: string, locale?: string) => Token[]

注解

defaultTokenizer() 相当简单,只是在空格和标点符号上中断。