トークン化か

noun, noun or participle which takes 'suru'

tokenize; tokenization

Computing term for splitting text into tokens. Used as a noun or with する as a verb.

• このライブラリはテキストをトークン化かする機き能のうを提てい供きょうする。

  This library provides a function to tokenize text.

• トークン化かの前まえに、テキストを正せい規き化かする必ひつ要ようがある。

  Before tokenization, the text needs to be normalized.