プログラミング言語をつくってみる

自作パーサジェネレータを使って、簡単な言語制作に入っています。

自作パーサジェネレータのトラブル

以下のような感じのルールを定義し、パーサジェネレータに入れてたところ、ちょっとしたトラブルに見舞われました。

/* 演算子順位 TOKEN Precedence(int) 結合方向(L|R) */
OP :
{
    "*" 100 L
    "/" 100 L    
    "%" 100 L
    "+" 90 L
    "-" 90 L
    ">" 80 L
    ">=" 80 L
    "<" 80 L
    "<=" 80 L
    "==" 80 L
    "!=" 80 L
    "&&" 70 L
    "||" 60 L
    "=" 1 R
}
/*2文字以上の記号は、字句解析が1記号として認識しないので便宜上指定*/
INCDEC :
{
    "++" 0 L 
    "--" 0 L
}

%% /*文法定義 */
primary     : "(" expr ")" | INT | FLOAT | IDENTIFIER | STRING
incdec      : primary [("++" | "--")]
factor      : "-" incdec | "!" incdec | incdec
expr        : factor { OP factor}
block       : "{" { statement } "}"
st_block    : statement | block
declare_var : "var" IDENTIFIER [ "=" expr ]
statement   : "if" "(" expr ")" st_block [ "else" st_block ]
            | "while" "(" expr ")" st_block
            | "for" "(" (declare_var | expr) { "," (declare_var | expr)}  ";" expr ";" expr { "," expr } ")" st_block
            | expr ";"
			| declare_var ";"
program     : { statement }

問題は、

            | expr ";"
			| declare_var ";"

の順番です。このジェネレータでは、| の順に if 文にしていることと、使う字句解析がキーワードなど関係なく英数字の文字列は IDENTIFIER として認識していることで、declare_var の 1 トークン目の "var" というトークンを IDENTIFIER として先に認識してしまい、declare_var にうまく判断されませんでした。

もちろん、| declare_var ";" → | expr ";" の順にすれば問題なのですが、作っていくうちに不具合を多発しそうなため、修正しました。

EBNF 内で使用した文字列は KEYWORD として認識

EBNF からパーサを生成する際に、使用している記号を用いない文字列について、字句解析にキーワードに認識するように登録することにしました。あわせて、記号に該当する文字列も記号として認識するようにしました。これで、先のように順序の影響が少なくなったと思います。

キーワードもいちいち別に書いて ID 降ってというのも面倒だったため、これでほぼ文法定義のところだけに集中できるようになったと思います。

俺スクリプト第一弾

ということで、先の文法に bool 用のキーワードと、関数呼び出しっぽい文法を追加、ついでにうっかりブロックのあとに ; をつけても大丈夫なようにして、以下のようなプログラミング言語を作ってみようと思います。

/* 演算子順位 TOKEN Precedence(int) 結合方向(L|R) */
OP :
{
    "*" 100 L
    "/" 100 L    
    "%" 100 L
    "+" 90 L
    "-" 90 L
    ">" 80 L
    ">=" 80 L
    "<" 80 L
    "<=" 80 L
    "==" 80 L
    "!=" 80 L
    "&&" 70 L
    "||" 60 L
    "=" 1 R
	"+=" 1 R
	"-=" 1 R
	"/=" 1 R
	"*=" 1 R
}
%% /*文法定義 */
arg_list    : "(" expr {"," expr} ")"
variable	: IDENTIFIER [ arg_list ]
primary     : "(" expr ")" | INT | FLOAT | STRING | variable
incdec      : primary [("++" | "--")]
factor      : "-" incdec | "!" incdec | incdec
expr        : factor { OP factor}
block       : "{" { statement } "}"
st_block    : statement | block
declare_var : "var" IDENTIFIER [ "=" expr ]
statement   : "if" "(" expr ")" st_block [ "else" st_block ]
            | "while" "(" expr ")" st_block
            | "for" "(" [ (declare_var | expr) { "," (declare_var | expr)} ]  ";" expr ";" [expr { "," expr }] ")" st_block
            | expr ";"
            | declare_var ";"
            | ";"
program     : { statement }

この文法をジェネレータに入れ、以下のコードをパースしてみたところ、期待通りの動作をしてくれました。

var a = 0;
var b = 0;

if( a == 0)
{
	b = 10;
}
for(var i = 0; i < 10; i++)
{
	print(i + b, a);
}

とりあえず、print 関数を組み込みでやって、最低限動作するまでにしてみようと思います。

プログラミング言語をつくってみる

自作パーサジェネレータのトラブル

EBNF 内で使用した文字列は KEYWORD として認識

俺スクリプト第一弾

目次

アウトライン