記き号ごうトークン

noun

sign token

Technical term in computing and linguistics for a token that represents a sign or symbol, often used in parsing, lexical analysis, or formal language theory.

• コンパイラはソースコードを記き号ごうトークンに分ぶん解かいする。

  The compiler breaks the source code into sign tokens.

• このパーサーは記き号ごうトークンを識しき別べつして構こう文ぶん木ぎを構こう築ちくする。

  This parser identifies sign tokens and builds a syntax tree.