同じ問題を解決してもAIによってコードの増加量に大きな差、AIモデルを比較するベンチマーク「Parsimony」が登場

この記事についての感想

最近は生成AIにコードを書かせるのが当たり前になってきたけど、モデルごとに生成されるコードの長さや品質が全然違うって話、まじで体感としてあるあるすぎて草生える。今回発表された「Parsimony」ってベンチマーク、まさにその「同じ目的でもコードの肥大化具合がモデルによってどれくらい違うか」を可視化しようって試みで、めちゃくちゃ意義深いと思うんだよね。ぶっちゃけ、AIに丸投げしてたら後から読み返した時に「お前、こんなに冗長な書き方する必要あった？」って言いたくなるようなスパゲッティコードが出てくることなんてザラにあるし、特にコストとか保守性を考えるとコードの行数ってマジで無視できない指標じゃん。モデルが賢いからって何でもかんでも長いコードを吐けばいいってもんじゃないし、計算資源の節約や可読性の観点からもミニマリズムなコードを生成できるモデルの需要は確実に高まってる。開発現場のエンジニアからしたら、特定のライブラリや言語に対してどれが一番「簡潔でイケてるコード」を書いてくれるのかの指標が欲しかったから、これは神ツールになる予感。今後、各社がモデルの性能を競うときに「正確性」だけじゃなくて「どれだけスマートに書けるか」も重視されるようになれば、レポジトリの肥大化問題も少しは解決するかもね。ただ、コードの短さと実行速度やバグの少なさが必ずしも比例しないっていうのがAI開発の沼なところで、このベンチマークがどこまで実務的な指標として定着するかが鍵になりそう。とりあえず自分の使ってるモデルがどれくらい無駄なコードを書いてるか、このParsimonyで一回ぶち込んで試してみたいわ。最新モデルのリリースラッシュの中でこういう比較指標が出てくるのは、ユーザーとしては選択の指針が増えてありがたい限りだし、ベンダー側も「短く書く技術」を磨くインセンティブが働くと思うとワクワクする。