字じ句く解かい析せき

noun

lexical analysis; tokenization

In computing, the process of converting a sequence of characters into a sequence of tokens. Often used in compilers and natural language processing.

• コンパイラの字じ句く解かい析せきは、ソースコードをトークンに分ぶん割かつする。

  Lexical analysis in a compiler splits source code into tokens.

• 自し然ぜん言げん語ご処しょ理りでは、字じ句く解かい析せきが最さい初しょのステップになることが多おおい。

  In natural language processing, tokenization is often the first step.