ペーパーテスト(例:大学受験など模範解答と統計処理としての偏差値がある試験)は、
「AIが台頭する時代には創造性を測れないゆえに危機感を抱くべき」「大学受験の偏差値とAI活用のパフォーマンスに関連性はなかった」「ゆえに代替手段となる試験どうにか考えるべき」
と言われることがあるが、率直に申し上げて、これは2周以上の遅れであり、古くは数千年も前から答えが出ている。
代替手段はすでに存在しており、
教養(リベラルアーツ=理系や文系や芸術まで問わず基礎と応用を行き来する知的行動)がここにピタリと当てはまる。
事実をありのまま受け入れ、人やモノや情報との対話を通じて洞察や本音を引き出すという、とてもアナログな営みだ(あるいは本音から逆算して洞察や発明を行ってもいい)。
デジタル化もデータドリブンも、AIも統計学も、
気づいたらいつの間にか誰か(特に起業家や研究者)の本音を叶えているのは、
そこに明確な人間臭さまるだしの本音があるからであり、技術開発はそんなアナログな本音なしには起こらない。
そんな中、ペーパーテストを挙げたのは、
「試験とその偏差値は、品質管理や検査や標準化の手法に収まるものでしかなく、創造性含めた能力を全面的・全人的に示すことは不可能である」
というシンプルすぎる事実について、AIや機械学習に詳しいと喧伝する層が、ついうっかり完全無視してしまう大間違いをあちこちでよく見かけるためだ。
これは統計手法の使い方を間違えてしまう知識不足や、前提条件を根本から間違えるという凡ミスであり、
研究や就職対策でやらかしたら一発でツッコミが入るレベルの基礎不足なのだが、
過去のペーパーテストで一定以上の水準を収めたからこそ生じる、あまりに人間臭いバイアスだという事実もよくわかる。
(知識不足やリベラルアーツの前提不足なら無理もないし、また4教科の二次試験+5教科7科目以上の共通試験を経た時点で生存者バイアスがかかるのも、経験した立場としては無理もないと即答できる)
とすれば、だからこそ可能な限り人間臭いアナログな要素を重視し、データドリブンの一要素であるペーパーテストについては限界があると素直に認めるべきである。
現実解。
統計学や品質管理という工学の知識があれば、素直にペーパーテストの限界に気づけるが、
気づくは工学ではなく、人間臭い教養によるものである。
追記。
答えとして当てはまる知識も気づきも、大昔からの手法のうちであり、
目先の物事ばかりに囚われると、かえってつまずいてしまう人間臭さまでちゃんと把握しておこう。
追記の追記。
こういう人間臭さをありのまま受け入れるからこそ、成長できるんだよ。
boxcox.net、遠藤武。