コンピューターに人間の能力を評価することができるのか？

話題のMOOC！

有名大学の授業を、インターネットを通じて無料で受けることができると話題の
MOOC（Massive Open Online Course：大規模公開オンライン講座）。
2011年にスタンフォード大学が提供したコンピューターサイエンスの講座には、
なんと160000人もの受講生が集まったという。

では、MOOCの講座を受講する数多くの学生たちが作成する課題は、
一体どのようにして評価を与えられているのだろうか。
実は、MOOCの多くの講座では、コンピューターによる
自動採点システムが採用されているのだ。

 

現在使用されているコンピュータープログラムの自動採点システム

コンピュータープログラムの評価において現在最も広く使用されている
自動採点システムは、各プログラムがいくつのテストケースをパス
することができるかを調べるというものである。

しかしこの方法だと、テストケースにおいて正しく作動するという理由で、
実際には非効率的なプログラムに高い評価が与えられてしまうということがある。
また逆に、実際には完成度が高いプログラムが些細な
エラーによってテストケースをパスできなかったために、
低く評価されてしまうということもある。
よって、このシステムによる評価は妥当性が疑問視されている。

 

提案されている新しい自動採点システム

そこで提案されたのが、人工知能の機械学習機能を使用した採点システムである。
この採点システムでは、人間によって良い評価から悪い評価まで評価を与えられた
それぞれのプログラムが、どのような特徴的要素を持っているのかを人工知能に記憶させる。
こうすることで、人工知能は各プログラムから自動でそれらの要素を抜き出し、
人間の採点者が与えるであろう評価に近い評価を下すことができるようになるという。

コンピューターに人間による評価方法を適切に学ばせるためには
莫大な量のデータが必要となる。これは多くの受講生を持つ
MOOCが所有する巨大データによって、初めて可能となった採点システムである。

 

作文の評価にも自動採点システムを導入

自動採点システムが取り入れられているのは、コンピュータープログラムの分野だけではない。
なんと、作文の評価にも自動採点システムが取り入れられているのだ。このシステムは、
人間によって採点された作文のフレーズ、キーワード、
文章および段落の構造といった要素を分析し、そこから採点の基準を学ぶという。

 

作文評価に自動採点システムを使用することへの批判

しかし、学生の作文をコンピューターを使用して評価することに対しては批判の声も大きい。
コンピューターシステムがチェックできるのは作文の表面的な要素に限られており、
正確さ、論理、説得力といった作文における最も肝心な要素を考慮することができないというのだ。
また、作文の全体像を理解することのできないコンピューターは、
作文の質を高めるための適切なフィードバックを与えることもできない。

いくら教育機関が学生の独自性や創造性を育てるという教育理念を謳っていても、
それらを評価しない採点システムを使用していては意味がないだろう。
教育の効率化と統一化を目指す中で、教育の真の目的が忘れられてしまっては元も子もない。

 

まとめ

機械学習機能が大きく進化を遂げ、実は私たちの知らぬ間に人間の能力までもが
コンピューターによって評価される時代になっているのだ。
賛否両論があるにせよ、MOOCのような大規模なシステムが普及する中、
この傾向は更に加速していくことだろう。
キャリアアップを目指す人にとってオンライン講座は強い味方だが、
もしかするとあなたが一生懸命作成した課題の採点者も人間ではないのかもしれない。

 

【参考】：外部サイト

Computer thinks you’re dumb: automated essay grading in the world of MOOCs

Computer grading will destroy our schools