同じ問題を解決してもAIによってコードの増加量に大きな差、AIモデルを比較するベンチマーク「Parsimony」が登場
AIがプログラムを修正する際に追加したコードと削除したコードの差を測定するオープンソースのベンチマーク「Parsimony」が公開されました。従来のベンチマークで重視されてきた問題の解決率やコストに加えて、コードの増加量からAIモデルを比較できるのが特徴です。続きを読む...
共有型ニュースまとめ
ブログやニュースサイトを登録して、みんなで共有。
フィードを自由に追加して投票で役立つアンテナに。
「Parsimony」に関するニュース・ブログ記事1件を新着順に紹介します。記事の概要や掲載元を確認し、コメントページで感想を共有できます。
AIがプログラムを修正する際に追加したコードと削除したコードの差を測定するオープンソースのベンチマーク「Parsimony」が公開されました。従来のベンチマークで重視されてきた問題の解決率やコストに加えて、コードの増加量からAIモデルを比較できるのが特徴です。続きを読む...