トークン化する · noun or participle which takes 'suru'
| Form | Positive | Negative |
|---|---|---|
| Dictionary | トークン化する | トークン化しない |
| Polite | トークン化します | トークン化しません |
| Past polite | トークン化しました | トークン化しませんでした |
| Past | トークン化した | トークン化しなかった |
| Te-form | トークン化して | トークン化しないで |
| Desire | トークン化したい | トークン化したくない |
| Potential | トークン化できる | トークン化できない |
| Passive | トークン化される | トークン化されない |
| Causative | トークン化させる | トークン化させない |
| Causative passive | トークン化させられる | トークン化させられない |
| Volitional | トークン化しよう | |
| Polite volitional | トークン化しましょう | |
| Imperative | トークン化しろ | トークン化するな |
| Conditional | トークン化すれば | トークン化しなければ |
| Tara conditional | トークン化したら | トークン化しなかったら |
noun, noun or participle which takes 'suru'
tokenize; tokenization
Computing term for splitting text into tokens. Used as a noun or with する as a verb.
This library provides a function to tokenize text.
Before tokenization, the text needs to be normalized.