プログラミング言語の作り方

javascript/C言語/アセンブラを用い、 字句解析、構文解析、インタプリタ、コンパイラのプログラムをスクラッチから作りながら、 「プログラミング言語の作り方」を解説する。

コメント、数値、複数引数対応
javascript版プログラミング言語の作り方(コンパイラ開発)

コメント、数値、複数引数対応をする。

ページメニュー

現時点の言語仕様

print文の複数引数対応を行うが、ついでなので、 文字列だけでなく、数字(整数/実数)も導入し、表示できるようにする。

さらに、コメントも導入する。

これらの言語仕様は以下だ。

自作言語で記述されたソース

$ cat source.3
//引数が3つ
print("引数1個目","引数2個目","引数3個目");
//整数
print("整数=",1234);
//実数
print("実数=",1234.5);

genasm.jsの実装

まず、数値を導入するため、数字そのもののリテラル値を アセンブラ上では、実行部分とは別のデータエリアに定義する必要があるため 文字列版のstrsとは別に、管理オブジェクトnumsを持つようにした。

さらに、アセンブラ上では、通常レジスタでは、浮動小数点が 扱えず、xmm*レジスタを使う。 命令も異なる。

なので、文字列だと1、数値(整数込みの実数)だと2、となる 値の型を持っておき、命令とレジスタを切り替えるようにした。

printの部分で、この値の型によって、分岐し、異なる処理をしている。

push/pop命令がない、xmm*レジスタ用にpush/pop操作ができるようにしている。

複数引数に対応するため、インタプリタと同様にカンマの際は配列化している。

しかし、スタック実装であるため、pushとpopの順番が逆転するため、 left/rightを逆にしたり、reverseしたり、小細工を行っている。

$ cat genasm.js

var {error}  = require("./utils.js");

//浮動小数点かどうかで、命令やレジスタを使い分ける必要があるので
//値の型として、1:文字列、2:数値で、区別する。
//変数の型のことではない。

(@//リテラル数値の定義
var nums = [];@)
//リテラル文字列の定義
var strs = [];

//アセンブラコードの配列
//コードだけでなく、アセンブラ上の「#コメント」を出力。
var codes = [];

//astからアセンブラへ変換
module.exports = function genasm(ast){
    //intel表記
    codes.push("\n#intel表記を使う");
    codes.push(".intel_syntax noprefix");

    //エントリポイント
    codes.push("\n#エントリポイント");
    codes.push(".global _start");
    codes.push("_start:");

    //変換開始
    gen(ast);

    //終了ステータス0でexit
    codes.push("\n#exit(0)で終了");
    codes.push("end:");
    codes.push("mov rdi,0");
    codes.push("call exit");

    //printfで使う文字列リテラル
    codes.push("\n#printfで使う文字列リテラルを定義");
    codes.push('.newline: .string "\\n"');
    codes.push('.fmtg: .string "%g"');

    (@//数値リテラル
    codes.push("\n#数値リテラル.n連番で定義");
    nums.forEach((n,i)=>{
        //.n連番: .double 数値
        codes.push(".n"+(i+1)+": .double "+ n*1);
    });@)

    //文字列リテラル
    codes.push("\n#文字列リテラル.s連番で定義");
    strs.forEach((s,i)=>{
        //.s連番: .string "文字列"
        codes.push(".s"+(i+1)+": .string "+ s);
    });

    //最後に改行がないと、asが文句言う。
    return codes.join("\n")+"\n";
}


//「おあずけ」をアセンブラでは、スタックを用いて表現する。
//スタック操作のpush/popのラッパ関数群。
//xmmレジスタには、push/popがないので、スタックポインタrspを直接操作。
//rspの値は、マイナス方向が伸びる、プラス方向が縮まる。

(@//push xmm0(数値)
//pushx(xmmレジスタ)
function pushx(x){
    codes.push("\n#push スタック伸ばしてxmmを保存");
    //保存用に16バイトスタックを伸ばす(-16)
    codes.push("sub rsp,16");
    //xmm*の値をスタックに16バイトコピーして保存
    codes.push("movdqu [rsp],"+x);
}

//popx(xmmレジスタ)
function popx(x){
    codes.push("\n#popx スタックからxmmへコピー後、スタック縮める");
    //スタックから16バイトxmm0へコピーして取得
    codes.push("movdqu "+x+",[rsp]");
    //スタックもういらないので16バイト縮める(+16)
    codes.push("add rsp,16");
}@)


//通常レジスタには、push/popはあるが、アライメント調整があるので関数化。
//printfは、アライメントを16バイトに揃えないとエラーになる。
//push(通常レジスタ名)
function push(r){
    //pushでアライメントが8バイトずれる
    codes.push("push "+r);

    //スタックポインタrspをさらに-8バイト=伸ばしてずれを16にする。pop時に戻す。
    codes.push("\n#アライメント8バイト伸ばす");
    codes.push("sub rsp,8");
}

//pop(レジスタ名)
function pop(r){
    //push時に伸ばしておいたスタックポインタrspを、先に+8バイト=縮めて戻しておく。
    codes.push("\n#アライメント8バイト戻し");
    codes.push("add rsp,8");

    //さらに、popでアライメントが8バイトずれ戻り、16バイトにそろう。
    codes.push("pop "+r);
}

//astの階層をたどりながらアセンブラを出力。
//アセンブラコードは、codesに格納
//genの返り値で、値の型(1:文字列、2:数値)を、後工程に通知
function gen(a){
    if(!a) return;
    if(!a.op){

        if(a[0] == '"'){
            //文字列リテラルとして定義
            strs.push(a);
            //「.s連番(strs.length)」という名で定義されたリテラル文字列を取得する
            codes.push("\n#.s"+strs.length+"で定義されたリテラル文字列取得");
            //文字列本体ではなく、アドレスを計算
            codes.push("lea r10,[.s"+strs.length+"]");
            //push r10(文字列) スタックに保管
            push("r10");

            //文字列だと通知
            return 1;
        }

        if(/\d/.test(a[0]) ){
            //数値リテラルとして定義
            nums.push(a);
            //「.n連番(nums.length)」という名で定義されたリテラル数字を取得する
            codes.push("\n#.n"+nums.length+"で定義されたリテラル数値取得");
            //数値そのものを16バイトコピー
            codes.push("movdqu xmm0,.n"+nums.length);
            //push xmm0(数値) スタックに保管
            pushx("xmm0");

            //数値だと通知
            return 2;
        }
        //それ以外(変数名、関数名などのシンボル)ならそのまま返す
        return a;
    }else if(a.op == ";"){
        gen(a.left) ; gen(a.right);
    }else if(a.op == ","){
        //カンマ区切りは、配列にする
        (@//スタックを使うので逆順[right,left]にしている
        return [gen(a.right),gen(a.left)].flat();@)
    }else if(a.op == "()"){
        var func = gen(a.left);
        if( func == "print"){
            (@//rightは、引数の型の配列(値ではなく型。1:文字列、2:数値)
            //スタックは逆転するため、reverseしておく。
            var argtypes = [gen(a.right)].flat().reverse();

            //引数の型の配列をループして、1つずつ処理する
            argtypes.forEach(m=>{
                if(gen(m)==1){
                    //文字列

                    //スタックから、printf("文字列")の第一引数rdiへセット
                    pop("rdi");

                    //文字列をprintfするときはrax=0でないとエラー
                    codes.push("\n#文字列をprintfするときは、rax=0でないとエラー");
                    codes.push("mov rax,0");

                    codes.push("\n#文字列表示");
                    codes.push("call printf");

                }else{
                    //数値
                    //printf("%g",数値)の、.fmtgは"%g"で第一引数rdi
                    codes.push("\n#printfのフォーマット%g(数値用)");
                    codes.push("lea rdi,[.fmtg]");

                    //スタックから、printf("%g",数値)の第二引数xmm0へセット
                    //通常/xmmレジスタは別々で数えるので、2番目でも最初の実数なのでxmm0
                    popx("xmm0");

                    //実数をprintfするときはrax=1でないとエラー
                    codes.push("\n#数値をprintfするときは、rax=1でないとエラー");
                    codes.push("mov rax,1");

                    codes.push("\n#数値表示");
                    codes.push("call printf");
                }
            });@)
            //最後に改行コードを表示する
            //.newlineは"\n"
            codes.push("\n#改行コード.newline表示");
            codes.push("lea rdi,[.newline]");
            codes.push("call printf");
        }else{
            error("未実装の関数呼び出し func=",func);
        }
    }else{
        error("未実装の演算子 op=",a.op);
    }
}

コンパイラの実行

まず、tokensとastが意図どおりに分割されているか、念のため表示しているので、確認しよう。

問題なく、自作プログラミング言語を実装できていることが分かる。

$ ./compiler.js
処理前tokens =[
  'print',       '(',
  '"引数1個目"', ',',
  '"引数2個目"', ',',
  '"引数3個目"', ')',
  ';',           'print',
  '(',           '"整数="',
  ',',           '1234',
  ')',           ';',
  'print',       '(',
  '"実数="',     ',',
  '1234.5',      ')',
  ';'
]
抽象構文木ast={
  left: {
    left: {
      left: {
        left: 'print',
        op: '()',
        right: {
          left: { left: '"引数1個目"', op: ',', right: '"引数2個目"' },
          op: ',',
          right: '"引数3個目"'
        }
      },
      op: ';',
      right: {
        left: 'print',
        op: '()',
        right: { left: '"整数="', op: ',', right: '1234' }
      }
    },
    op: ';',
    right: {
      left: 'print',
      op: '()',
      right: { left: '"実数="', op: ',', right: '1234.5' }
    }
  },
  op: ';',
  right: undefined
}

引数1個目引数2個目引数3個目
整数=1234
実数=1234.5

コンパイラが出力したアセンブラ

コンパイラが出力したアセンブラ(source.s)を載せておく。

$ cat source.s

#intel表記を使う
.intel_syntax noprefix

#エントリポイント
.global _start
_start:

#.s1で定義されたリテラル文字列取得
lea r10,[.s1]
push r10

#アライメント8バイト伸ばす
sub rsp,8

#.s2で定義されたリテラル文字列取得
lea r10,[.s2]
push r10

#アライメント8バイト伸ばす
sub rsp,8

#.s3で定義されたリテラル文字列取得
lea r10,[.s3]
push r10

#アライメント8バイト伸ばす
sub rsp,8

#アライメント8バイト戻し
add rsp,8
pop rdi

#文字列をprintfするときは、rax=0でないとエラー
mov rax,0

#文字列表示
call printf

#アライメント8バイト戻し
add rsp,8
pop rdi

#文字列をprintfするときは、rax=0でないとエラー
mov rax,0

#文字列表示
call printf

#アライメント8バイト戻し
add rsp,8
pop rdi

#文字列をprintfするときは、rax=0でないとエラー
mov rax,0

#文字列表示
call printf

#改行コード.newline表示
lea rdi,[.newline]
call printf

#.n1で定義されたリテラル数値取得
movdqu xmm0,.n1

#push スタック伸ばしてxmmを保存
sub rsp,16
movdqu [rsp],xmm0

#.s4で定義されたリテラル文字列取得
lea r10,[.s4]
push r10

#アライメント8バイト伸ばす
sub rsp,8

#アライメント8バイト戻し
add rsp,8
pop rdi

#文字列をprintfするときは、rax=0でないとエラー
mov rax,0

#文字列表示
call printf

#printfのフォーマット%g(数値用)
lea rdi,[.fmtg]

#popx スタックからxmmへコピー後、スタック縮める
movdqu xmm0,[rsp]
add rsp,16

#数値をprintfするときは、rax=1でないとエラー
mov rax,1

#数値表示
call printf

#改行コード.newline表示
lea rdi,[.newline]
call printf

#.n2で定義されたリテラル数値取得
movdqu xmm0,.n2

#push スタック伸ばしてxmmを保存
sub rsp,16
movdqu [rsp],xmm0

#.s5で定義されたリテラル文字列取得
lea r10,[.s5]
push r10

#アライメント8バイト伸ばす
sub rsp,8

#アライメント8バイト戻し
add rsp,8
pop rdi

#文字列をprintfするときは、rax=0でないとエラー
mov rax,0

#文字列表示
call printf

#printfのフォーマット%g(数値用)
lea rdi,[.fmtg]

#popx スタックからxmmへコピー後、スタック縮める
movdqu xmm0,[rsp]
add rsp,16

#数値をprintfするときは、rax=1でないとエラー
mov rax,1

#数値表示
call printf

#改行コード.newline表示
lea rdi,[.newline]
call printf

#exit(0)で終了
end:
mov rdi,0
call exit

#printfで使う文字列リテラルを定義
.newline: .string "\n"
.fmtg: .string "%g"

#数値リテラル.n連番で定義
.n1: .double 1234
.n2: .double 1234.5

#文字列リテラル.s連番で定義
.s1: .string "引数3個目"
.s2: .string "引数2個目"
.s3: .string "引数1個目"
.s4: .string "整数="
.s5: .string "実数="

このページの目次へ戻るサイトの最上位へ戻る