Portfolio

前回で空欄補充問題を自動生成する方法を確立しました。

今回は空欄補充問題を自動採点します。

以下の採点内容を出力するプログラムを作成しました。



以下の項目を出力しています。

• ファイル名


• 相違点


• 実行結果


• 点数


• 各空欄の正誤判定

実験

どれくらい機能してるか実験してみました。実験方法は以下の手順で行いました。

1. プログラミング演習問題の模範プログラムから空欄補充問題を作成

2. 空欄を解答

3. 自動採点

結果

自動採点できなかったものは以下のパターンであり、36個中5個となりました。

• 別解の可能性がある (a[i]でもa[j]でも同じ実行結果になる等が多かった)


• 空欄以外の箇所が変更されている (これは0点とするため採点できなくても良いかも)

8割程度の演習問題が自動採点できました。

課題

別解が絡んでくると完全に自動採点するのは難しいかなと感じました。

編集可能箇所を限定したり1行につき１つの変数しか空欄にしないようにしたりして別解を極力発生させないようにしましたが、「変えが効く」場合はこれでも別解が発生してしまいます。

具体的には以下の場合などです。

模範解答は「=」だが「<」でも同じ実行結果になる

模範解答はa[i]だがa[j]でも同じ実行結果になる

このように、他の変数や数式記号で代用できる場合は全く通用しません . . .



別解にどのように対応するかが今後の課題になりそうです。