AIベンチマークに数学を使うのは有害だとして数学者たちが反発

この記事についての感想

AIの進化ってマジで爆速だけど、最近のベンチマーク事情には正直モヤモヤしてたんだよね。で、今回『AIベンチマークに数学を使うのは有害』っていう数学者たちの反発を見て、完全に首がもげそうなくらい頷いたわ。結局のところ、LLMって確率論的なテキスト生成マシンであって、厳密な数学的推論をしてるわけじゃないってのが本質なんだよな。テストデータに数学の問題を混ぜると、モデルが賢くなった気になってるだけで、実際はカンニングに近い丸暗記をしてるだけって話、まさにそれなって感じ。最近は難解な論文を解かせたりするのがトレンドだけど、あれって数学の本質を理解してるんじゃなくて、ただのパターンマッチングの極致でしかない。数学者たちが「数学をAIの指標にするのは知的な誠実さを欠く」みたいな怒りを見せるのはマジで正論だと思うよ。そもそもAIに期待しすぎなんだよね、世間がさ。数学ってプロセスが大事なのに、正解だけ出して終わりみたいな評価は、教育現場でもやっちゃいけないやつじゃん。このままじゃAIが「数学っぽい文章を書くのが上手いだけの虚無」になっちゃうよ。OpenAIとかGoogleも、そろそろ「推論能力」の定義を改めないと、ベンチマークスコアがただの数字遊びで終わっちゃう未来が見えてる。個人的には、数学そのものじゃなくて、別の論理的思考能力を測る新しい指標が必要だと思うんだけど、それすらも学習データに汚染されたら終わりだよね。AI開発の現場が「スコア上げれば勝ち」っていうマインドセットから抜け出せない限り、この数学者VS AI開発界隈の泥沼は続くんだろうな。てか、数学者がここまでガチギレするってことは、AIが吐き出す「数学の回答」がいかに的外れで、かつもっともらしいデタラメかを見抜いてるってことだろうし。そろそろベンチマークそのものを見直すフェーズに来てるんじゃないかな。