2011-01-16 lex.d parse.dで使われている字句解析を行うのがこのプログラムだ。 レキサーを作って返す関数と、レキサークラス、 あと、レキサーから返されるトークンクラスがある。 正規表現などは使わずにまじめに字句解析しているので速そうだ。