構こう文ぶん素そ

noun

lexical token

A technical term in computing and linguistics for a basic unit of lexical analysis, such as a word or punctuation mark.

• コンパイラはソースコードを構こう文ぶん素そに分ぶん割かつする。

  The compiler splits the source code into lexical tokens.