Token interface
由 TokenizerFunction
返回的单个令牌。
属性
end | 标记在外部字符串中的结束字符位置。 |
normalized | 标记的规范化形式。 这可以包括下层大小写或词干等内容。 |
start | 标记在外部字符串中的起始字符位置。 |
text | 令牌的原始文本。 |
属性详细信息
end
标记在外部字符串中的结束字符位置。
end: number
属性值
number
normalized
标记的规范化形式。 这可以包括下层大小写或词干等内容。
normalized: string
属性值
string
start
标记在外部字符串中的起始字符位置。
start: number
属性值
number
text
令牌的原始文本。
text: string
属性值
string