AI時代の渡来で、我々の生活にも色々な変化が起きています。教育分野も例外ではありません。英語の学習方法や活用方法においてもAIを利用する様々な方法とサービスが登場しています。
今回私は英語講師として、そして一人の英検受験者として、非常に面白い実験をしてみたいと思います。「世紀の対決」と言えるほどの興味深い実験になるかもしれません。
人間の採点とAIの採点を同じTOPICで採点をして、その採点結果をこの場で完全公開し、皆さんと一緒に2つの採点を比べてみる機会を設けたいと思います。まずは、実施方法からご覧ください。
■ 実験方法とルール
1. 人間の採点は、英検ライティング専門英語講師の私「マイケル」が担当します。
2. AIの採点は、英検ライティングの採点システムの中に、学校採用が多く、採点精度が高いとされる「AEES」を使用します。※www.english-exam.netに採用されているAEESで採点します。
3. 英検2級の英作文問題（意見論述）を1つ選択し、3人の生徒に答案を作成してもらいます。
4. 採点精度の確認と、実験の公平性を担保するために、英語力が高ー中ー低の3人の生徒が参加します。
5. 生徒の答案作成が完了すると、AIに採点を依頼する前に、私が採点作業を行います。
6. 私（人間の採点者）は、AI（AEES）が採点する項目にあわせて完全に等しく、総合スコア(100点満点)ー論理構成(配点25点)ー分量(配点25点)ー語彙(配点25点)ー文法(配点25点)という観点で採点をし、英検スコアと合格判定(％で表示)までの採点結果を事前に作成しておきます。
7. 人間の採点が完了すると、生徒の答案をそのまま、www.english-exam.netにて提出し、採点結果を確認します。
8. 項目ごとに、人間の採点結果とAIの採点結果を比べながら、分析・評価を行います。
英検®2級 英作文問題（意見論述）
[TOPIC]
These days, more companies are using AI to do work instead of people. Do you think this is a good thing for workers?
[POINTS]
Free time, New skills, Job loss
紹介コード : LDGYMW9L
☆生徒Aの解答 (英語レベル : 中)
I believe that using AI properly is beneficial for workers. I have two reasons to support my idea.
Firstly, AI can treat simple tasks, and workers can have more free time for their lives and family. For example, AI can perform difficult and complex tasks at construction sites and disaster sites.
Second, using AI helps workers learn new skills, and people can improve their careers and find better jobs for them.
For these reasons, I believe that AI provides many benefits to workers today.
(95 words)
★人間の採点（採点者 : 英語講師「マイケル」）
0. 総合スコア : 80/100（コメント : 全体的に見て、良好なエッセイ）
1. 論理構成 : 25/25（コメント : 特に減点する要素なし）
2. 分量 : 25/25（コメント : 80語以上であり、特に問題なし）
3. 語彙 : 15/25（コメント : スペルミスなし、語彙レベルが高くないため、10点減点）
4. 文法 : 15/25（コメント : 特に文法ミスなし、但し、単文が多く文の構造が単純であるため、10点減点）
5. 英検スコア : 13/16（コメント：文法・語彙が充実していないが、合格は可能なレベル）
6. 合格判定(%) : 合格可能性80％
★AIの採点（採点者 : AEES、www.english-exam.netで採点）
0. 総合スコア : 77.95/100（AI指摘 : 一般的なエッセイで、表現ミスが多数あり）
1. 論理構成 : 24.20/25（AI指摘 : 労働者と生活改善との関連性が低い）
2. 分量 : 23.87/25（AI指摘 : Paraphrasing減点が1.13点発生）
3. 語彙 : 17.38/25（AI指摘 : スペルミスはないが、語彙レベルが低いため、減点）
4. 文法 : 12.50/25（AI指摘 : 単文の割合と文法レベルを考慮）
5. 英検スコア ; 12/16（AI指摘 : 全体的に見て、英検2級の文法・語彙基準を満たしていないエッセイ）
6. 合格判定(%) : 合格可能性76％
◎英語講師「マイケル」からの総評
AEESの採点は、思ったより厳しめということが分かりました。特に文法スコアに関しては、文法ミスが無かったとしても、単純な構造の文が連続していることから、獲得点数が低かったと思われます。語彙の項目では、「beneficial」「benefit」のお陰なのか、17.38点という比較的に良い点数を獲得しました。総合スコアとしては、私の予想とほぼ変わらない結果となったため、AEESの採点の信頼度は非常に高いと評価できるでしょう。
--------------------------------------------------------------------------------------------------
☆生徒Bの解答 (英語レベル : 低)
I think the use of AI is good chance for worker.There is two reasons for this.
First, AI can work at any dangerous situation or dirty place. AI is not tired and AI is always powerful.
Second, AI can make workers' lives better. Workers can spend a lot of time with their families. They can be happy with AI.
For these reasons, I think AI is good for workers and their families.
(70 words)
★人間の採点（採点者 : 英語講師「マイケル」）
0. 総合スコア : 65/100（コメント : 全体的に見て、残念なエッセイ）
1. 論理構成 : 25/25（コメント : 特に減点する要素なし）
2. 分量 ; 20/25（コメント : 指定語数に7語足りない。助動詞canが4箇所使われたので、5点減点）
3. 語彙 : 10/25（コメント : スペルミスなし、語彙レベルの低さから、15点減点）
4. 文法 : 10/25（コメント : 文の構造が単純すぎる、準動詞も使わず、文法レベルが相当低いので、15点減点）
5. 英検スコア : 11/16（コメント : 全体的に見て、改善の余地が多いエッセイ）
6, 合格判定(%) : 合格可能性65％
★AIの採点（採点者 : AEES、www.english-exam.netで採点）
0. 総合スコア : 65.16/100（AI指摘：一般的なエッセイで、多数の文法ミスと語法ミスがあり）
1. 論理構成 : 24.20/25（AI指摘 : 例示の内容に具体性がやや不足している）
2. 分量 : 22.91/25（AI指摘 : 指定語数の不足とParaphrasing減点で2.09点マイナス）
3. 語彙 : 9.38/25（AI指摘 : スペルミスないが、語彙レベルが低いため、大幅な減点）
4. 文法 : 8.68/25（AI指摘 : 文法レベルの低さと、14カ所の文法・語法ミスがあることから、大幅な減点）
5. 英検スコア : 10/16（AI指摘 : 全体的に見て、改善の余地が多いエッセイ）
6. 合格判定(%) : 合格可能性63％
◎英語講師「マイケル」からの総評
今回は、比較的に英語レベルが低い生徒の解答を採点してみたのですが、前回と同様に、AIの採点と私の採点が概ね同じ結果となりました。語彙スコア、文法スコアはもちろん、全体的に無難な採点だと言えるでしょう。AEESの採点はブレが無いため、人間の採点者よりも、安定的な採点結果を期待できるかもしれません。
--------------------------------------------------------------------------------------------------
☆生徒Cの解答 (英語レベル : 高)
I believe that using AI instead of human labor is beneficial for workers. I have three reasons to support this view.
First, AI can perform monotonous tasks quickly, which gives workers more free time. They can relax more and enjoy their lives.
Second, this change allows workers to acquire new skills. They can focus on creative jobs that AI cannot perform.
Third, although certain people worry about job losses, AI actually creates new types of jobs.
In conclusion, utilizing AI is beneficial for workers because it enhances their lives and careers.
(92 words)
★人間の採点（採点者 : 英語講師「マイケル」）
0. 総合スコア : 100/100（コメント : 非の打ち所がない、素晴らしいエッセイ）
1. 論理構成 : 25/25（コメント : 特に減点する要素なし）
2. 分量 : 25/25（コメント : 指定語数を満たしており、Paraphrasingも問題なし）
3. 語彙 : 25/25（コメント : 語彙レベルも2級に相応しい）
4. 文法 : 25/25（コメント : 重文の割合もよく、センテンスの構成にも迫力がある）
5. 英検スコア : 16/16（コメント：すべての要素が揃っている、完璧なエッセイ）
6. 合格判定(%) : 合格可能性99％
★AIの採点（採点者 : AEES、www.english-exam.netで採点）
0. 総合スコア : 94.52/100（AI指摘 : 完璧なエッセイ、合格が確実）
1. 論理構成 : 24.20/25（AI指摘 : AIによって生まれる新しい仕事の具体例が不足している）
2. 分量 : 25/25（AI指摘 : Paraphrasing減点なし。完璧）
3. 語彙 : 24.17/25（AI指摘 : スペルミスなし、2級に相応しい語彙レベル）
4. 文法 : 20.75/25（AI指摘 : 2級に相応しい文法レベル）
5. 英検スコア ; 15/16（AI指摘 : 全体的に見て、非常に完成度の高いエッセイ）
6. 合格判定(%) : 合格可能性93％
◎英語講師「マイケル」からの総評
人間の採点者の目で見て、非の打ち所がない完璧なエッセイであっても、AIの採点では少し減点が入るのは仕方がありませんね（笑）。今回の人間の採点との一番大きな差は、「文法スコア」でした。私が推測するには、AI評価システムである「AEES」には、英検の級ごとに必要となる語彙スコア・文法スコアの判定基準があり、それを満たしている程度によって、スコアが決まるという仕様のようです。従って、人間の採点者には見えにくい部分でもAIには見えてしまうことでしょうか。その採点メカニズムによってスコアが算出されるので、人間の採点者と異なり、採点者の考えに左右されず、毎回公平で同じ採点結果が得られるようです。
英検2級の採点結果以上です。続けて準1級、準2級問題の採点結果も公開します。
