小論文自動採点システム

朝日新聞の記事によれば、大学入試センター研究開発部では小論文の自動採点システム「Jess」(=Japanese essay scoring system)を開発しており、試作品が完成しているそう。
　評価の観点は１）文章の形式、２）論理構成、３）問題文に対応している内容かの三つ。採点の仕組みは、全国紙の２年分の社説、コラム計約２０００本を元ねたに、文長、漢字/かな比率、言葉の多様さ、受動態の割合、接続詞の使い方などの統計分布の「模範」が計算されており、模範に近いほど高い点を与えるようになっているそうです。
　「語彙（ごい）の多様性が不足」「議論の接続が不十分」「問題文との関係が希薄」などの短いコメントと点数で１、２秒後に判定を打ち返すというので、小論文も含んだ採点バイトをやったことのある身としてはかなりのライバル出現です。
　評価ロジックがその程度(統計分布との類似）でうまく採点できるのか、というのは不思議。Jessのページではサンプルを見ることができます。
　方言が入っていたら点が極端に低い、とか、新聞調の型にはめた文章を書かせているだけはないか、という気もしないでもないですが、日本語の文章としてそもそも成り立っていない回答をはじくのには威力を発揮しそうです。中を見てみたい。