
2024年の大学センター入試試験問題を、GPT-4、Google Bard、Claude2の生成AIに解かせて成績を解かせるという興味深い試みと結果を、もちたか@AI情報解説さんがX及びnoteで発表しています。
テストしているのは、国語・英語(リーディング)・数学(1A, 2B)・社会(世界史・日本史)・理科基礎の5教科7科目です。
結果はこちら。
実験方法や各AIに対する考察などももちたか@AI情報解説さんのnoteにまとめられています。
AIの賢さの評価には、これまでGLUE(General Language Understanding Evaluation)による自然言語処理(NLP)モデルの言語理解能力の評価や、高校〜大学レベルの微積分のテストAP Calculus BC、米国の共通司法試験Uniform Bar Examなどが用いられていました。
そんなAIの試験項目に、日本人にとっても馴染みのある大学入学共通テスト(これは新制度ですが)という項目を用いたことは、AIがどれだけ賢くなっているかを直感的に理解できるようで素晴らしい検証ですね。
監修者のコメント:素晴らしい検証なのでXへの投稿を引用する形で紹介記事にしました。日本語で読める内容なので、詳しくはオリジナルサイトでご参照ください。なお、この記事はほぼ人力で執筆しています。