Token interface

TokenizerFunction返回的单个令牌。

属性

end

标记在外部字符串中的结束字符位置。

normalized

标记的规范化形式。 这可以包括下层大小写或词干等内容。

start

标记在外部字符串中的起始字符位置。

text

令牌的原始文本。

属性详细信息

end

标记在外部字符串中的结束字符位置。

end: number

属性值

number

normalized

标记的规范化形式。 这可以包括下层大小写或词干等内容。

normalized: string

属性值

string

start

标记在外部字符串中的起始字符位置。

start: number

属性值

number

text

令牌的原始文本。

text: string

属性值

string