# AIコーディングベンチマークの読み方と、論文上の勝者を選ばない方法 > HumanEvalとSWE-benchが測定するもの、そしてAIコーディングランキングを読む際に、エージェントのラッパー、条件、タスクの新しさ、ばらつき、コストをどう考慮するかを解説します。 Source: https://ailoot.ai/blog/ja/read-ai-coding-benchmarks/ Canonical: https://ailoot.ai/blog/ja/read-ai-coding-benchmarks/ Language: ja Publisher: Ailoot (https://ailoot.ai/) Translation: guide-125 Revision: sha256-d18c51868adece204344acc58e21c400e5cf23e2f98898c555b68b33c476e482 要するに、「タスクの76パーセントを解決した」という数字だけでは、ほとんど何も分かりません。重要なのは、その数値がどのタスクセットから得られたのか、どのモデルとエージェントラッパーを組み合わせて測定したのか、タスクが新しいのか古いのか、そしていくらかかったのかです。こうした条件が分からなければ、そのパーセンテージは広告バナーには使えても、ツール選びには役立ちません。 ここでは、主なコーディングベンチマーク2つが何を測定するのか、表のどこに落とし穴が隠れているのか、そしてランキングを鵜呑みにする前に1分で確認する方法を、分かりやすく説明します。以下は過去のベンチマーク定義を扱います。最新の対になった順位表は再現していません。現在の点数や費用比較には、リンク付きの表、日付、構成が別途必要です。 モデルの使い方については、[Ailootのドキュメント](https://ailoot.ai/docs/)もご覧ください。 ## ベンチマークのパーセンテージは実際には何を示しているのか？
重要なポイント ベンチマークのパーセンテージは、特定の条件下でツールが動作する結果を出して完了した、特定のタスクセット内のタスクの割合です。タスクは自動テストで確認されます。コードがテストに合格するかどうかで決まり、評価は率直で、「だいたい合格」ということはありません。ただし、タスクセットは常に限られており、事前に知られています。また、測定条件はツールごとに異なります。したがって、この数値が答えるのは「このツールは、この方法で、これらのタスクをいくつ解決したか？」という問いです。「私の仕事をこなせるか？」には答えません。
ベンチマークの仕組みは単純です。あらかじめプログラミングタスクの一覧を用意します。ツールに各タスクを与えると、ツールはコードを返し、システムが自動テストを実行して解決策が機能するかどうかを確認します。合格したタスクの割合が、表に表示されるパーセンテージです。 ここでの強みは、評価が客観的なことです。テストは合格か不合格かのどちらかで、「見た感じ」で点数を付ける人はいません。この点で、ベンチマークはどんなレビューや体験談よりも率直です。 弱点も、まさに同じところにあります。タスクセットは有限で、モデルを訓練する人も含め、誰もが事前に知っています。測定ごとに条件も異なります。そして、そのセットのタスクは、あなたの仕事とはほぼ確実に違います。これが、以下で説明する落とし穴につながります。このパーセンテージが表すのは、他者が用意した非公開ではないタスクリスト上でのツールの振る舞いであり、そのまま自分のプロジェクトに当てはめることはできません。 ## HumanEvalは何を測定し、なぜもうツール選びに使えないのか？
重要なポイント HumanEvalは、Pythonの小さなタスク164件からなる古いセットです。モデルに関数の説明を与えてコードを書かせ、自動テストでタスクを確認します。2021年の公開時、初代Codexは1回の試行でタスクの28.8パーセントを解決しました。現在では、強力なモデルのほとんどがその大半を完了するため、モデル同士を見分けることはできなくなっています。さらに、タスクはおもちゃのような問題です。説明から関数を1つ書く作業は、大規模で稼働中のプロジェクトを扱うこととはかけ離れています。2026年にHumanEvalの高得点を得ても、ほとんど意味はありません。
HumanEvalはOpenAIが作成し、Codexモデルとともに2021年に公開されました。Pythonの小さなタスク164件が含まれています。モデルに文章で関数の説明を与え、その本体を書かせ、自動テスト一式で正しく動くかどうかを確認します。 当時は、モデルを見分けるのに役立つ指標でした。著者らは論文で次の数値を示しています。初代Codexは1回の試行でタスクの28.8パーセントを解決しましたが、通常のGPT-3は0でした。

HumanEvalでは、私たちのモデルは問題の28.8パーセントを解決します。一方、GPT-3は0パーセント、GPT-Jは11.4パーセントを解決します。

— OpenAI、「コードで学習した大規模言語モデルの評価」
それからモデルは進歩し、現在では高性能なモデルのほとんどがHumanEvalのタスクをほぼすべて完了します。どのモデルも100パーセント近くを獲得するようになると、表は何も見分けられなくなり、ツール間の差が分からなくなります。これはベンチマークの飽和と呼ばれ、HumanEvalはずいぶん前からその状態です。 2つ目の欠点はさらに深刻です。タスクは非常に小さく、説明から関数を1つ書くだけです。実際の仕事は違います。履歴のある大規模なプロジェクトで、他人のコードを理解し、欠陥を見つけ、周辺のコードを壊さないようにする必要があります。「ゼロから関数を書く」ことと「稼働中のプロジェクトのバグを直す」ことには、大きな隔たりがあります。したがって、現在HumanEvalで高得点を取ることは、ツールを選ぶ理由にはなりません。「基本は押さえている」という目安に近いものです。 ## SWE-benchは何を測定し、どのように実際の仕事に近づけているのか？
重要なポイント SWE-benchは、人気のGitHubプロジェクトで実際に発生した欠陥を基に構成されています。Pythonのリポジトリ12件から集めたタスクは2,294件です。ツールには問題の説明が与えられ、コードを編集します。その後、変更前に失敗し、修正後に合格するはずのテストをシステムが実行します。これはHumanEvalより実際の仕事にずっと近いため、本格的なツールの比較に使われています。初期の単純な手法ではタスクの2パーセントにも満たない数しか解決できず、その難しさは明らかです。
SWE-benchは根本的に異なるため、より興味深いベンチマークです。人気のGitHubプロジェクトにおける実際のissueとプルリクエストを基に構成されました。著者によると、Pythonの大規模なリポジトリ12件からタスク2,294件を集め、2023年10月に公開されました。 評価の仕組みは率直です。実際の欠陥があったプロジェクトの状態と、その時点で失敗していた一連のテストを用意します。ツールに問題の説明を与え、コードを編集させます。その後、同じテストを実行します。テストが合格すれば、タスクは実際に解決されたことになります。ここでは、口約束を信じる人はいません。

人気のPythonリポジトリ12件から、プルリクエストとissueを調べて2,294件のタスクを集めました。各タスクはissueに関連付けられ、テスト関連ファイルを少なくとも1つ変更するプルリクエストに基づいています。

— SWE-bench、公式ベンチマークサイト、
初期の数値を見ると、おもちゃのようなタスクよりどれだけ難しいかが分かります。最初のベースライン手法がSWE-benchで獲得したスコアはわずか1.96パーセントで、最初のエージェントは12.47パーセントでした。つまり、実際のコーディング作業に近づくことさえ難しく、その後パーセンテージは伸びましたが、出発点はほぼゼロでした。 そのため、現在のAIコーディングエージェントのランキングで大きな数値を見かけたら、多くの場合はSWE-bench、またはタスク500件からなる人間による検証済みサブセット「SWE-bench Verified」の数値です。妥当なベンチマークではあります。しかし、これにもパーセンテージを誤解させないための条件があります。次にそれを説明します。 表で最も信頼できるベンチマークであっても、それだけでは自分のプロジェクトでの成果を示しません。結果はツールの使い方にも左右され、ランキングの先頭の数字が決めることはほとんどありません。信頼できる仕事には、AIクローン、Second Brain、コンテキストエンジニアリングの組み合わせが重要です。きれいに整理されたコンテキストは、表からモデルを選ぶよりも、個人の成功率を大きく向上させます。 ## 同じモデルでもパーセンテージが異なるのはなぜか？
重要なポイント 結果はモデルだけで決まるわけではないからです。測定には少なくとも3つの要素が関わります。モデル自体、モデルを囲むエージェントラッパー、そして有効にした推論レベルです。推論設定を変えると、同じモデルとラッパーでも別の行になります。ただし、ハーネス名、版、設定、日付付き出典なしでは数値比較の根拠になりません。つまり、組み合わせ全体を比較する必要があり、モデルのブランドだけではほとんど決まりません。
ここに、ベンチマークを読む際によくある誤りが隠れています。人々は表をモデルのランキングとして読み、「このモデルはあのモデルより2パーセント賢い」と考えます。しかし、パーセンテージに影響する要素は3つあり、モデルはそのうちの1つにすぎません。 1つ目はモデル自体です。2つ目はエージェントラッパーです。これはモデルがファイルを移動し、コマンドを実行し、エラーを読み、コードを書き直せるようにするプログラムです。同じモデルでも、賢いラッパーと単純なラッパーでは結果が異なります。ラッパーによって、モデルがプロジェクトをどう扱うかが決まるからです。3つ目は推論レベル、つまりモデルが各ステップをどれだけ深く考えるかです。考える時間が長いほど、一般にパーセンテージは高くなり、コストも上がります。 再現可能な比較には構成全体を保持します。以下は実測順位表でなく、報告用のひな型です。 | 項目 | 実行A | 実行B | |----|----|----| | モデルと正確な版 | 試した版を記録 | 条件を切り分けるなら同じ版 | | エージェントのハーネスと版 | リポジトリとコミット | 同じもの | | タスク集合と採点 | 対象と評価の版 | 同じもの | | 推論設定 | 設定A | 設定B | | 結果と証拠 | 解決数、分母、ログ、日付 | 解決数、分母、ログ、日付 | 何が変わり、推論設定だけを分離できたかが分かります。以前のリンクのない数値例は実測結果として扱いません。 ルールはこうです。優れたランキングには、使用したモデル、ラッパー、推論レベルが必ず明記されています。表にモデル名とパーセンテージしかなく、ラッパーの記載がない場合は、実際に何を測定したのか分からないため、信頼しにくいでしょう。「モデル＋ラッパー」の組み合わせを構成する要素については、[AIコーディングエージェントのランキング](https://ailoot.ai/blog/ja/ai-coding-agent-rankings/)の記事で詳しく説明しています。 これで、最高スコアのツールがあなたの環境では苦戦することがある理由も分かります。ベンチマークが測定するのは、他者が調整したラッパーの中で、他者のタスクに取り組むモデルです。あなたのラッパー、プロジェクト、モデルに渡すコンテキストは異なります。あなたのプロジェクトでは、結果はコンテキストに左右され、表の順位は二次的なものです。 ## タスクが「古びる」のはなぜか？訓練データのリークとは何か？
重要なポイント モデルはインターネット上の膨大なテキストやコードで訓練されており、よく知られたベンチマークは公開されています。タスクとその解答が訓練データに含まれていれば、モデルはそれを記憶し、評価時に問題を解く代わりに、記憶した内容をそのまま出すかもしれません。これはタスクの訓練データへのリークと呼ばれます。セットが古く有名であるほどリスクは高くなります。古いベンチマークは、推論能力よりもモデルの記憶を示す可能性が高いからです。新しく非公開のタスクセットは、古く公開されたものより信頼できます。
数値そのものからは見えませんが、他の何よりも数値の信頼性を損なう落とし穴があります。モデルは、インターネットから集めた膨大なテキストやコードで訓練されます。そして、ほぼすべてのコーディングベンチマークは公開されています。タスク、テスト、模範解答も公開されています。 仕組みは単純です。タスクと正解が訓練データに含まれていれば、モデルがそれを記憶している可能性があります。評価時には、タスクを解いているというより、記憶から見覚えのある答えを引き出していることになります。解決したように見えても、実際には記憶を再生しているだけです。これは訓練データリーク、またはデータ汚染と呼ばれます。 タスクセットが古く、よく知られているほどリスクは高くなります。HumanEvalは2021年から公開されており、何度も書き換えられ、分析され、数え切れないほど多くのデータセットに組み込まれてきました。現代のモデルが一度も「見たことがない」と期待するのは無理があります。そのため、タスクの新しさはベンチマークの独立した品質指標です。優れたセットは定期的に更新されるか、事前学習されないよう一部のタスクを非公開にしています。 ランキングを読むときは、タスクの日付とセットが更新されているかを確認してください。ここ数か月の新しい欠陥で構成されているベンチマークなら、より信頼できます。5年前のセットなら、そこで高いパーセンテージを取っても、新しいタスクを解く能力より、モデルの記憶力の良さを示している可能性があります。この効果の具体例は、タスクが意図的に新しく設定された[新しいFrontierCodeベンチマーク](https://ailoot.ai/blog/ja/frontiercode-benchmark-mergeable-ai-code/)の記事で紹介しています。 ## 数パーセントポイントの差が意味をなさないことが多いのはなぜか？
重要なポイント ベンチマークにはばらつきがあります。同じツールを同じタスクで使っても、モデルの応答は毎回同じではないため、実行ごとに結果が少し異なります。そのため、ランキングの隣り合う行の1〜2ポイントの差は、ノイズに埋もれてしまうことが多く、本当の優位性を示すとは限りません。価格も別に確認してください。似たようなパーセンテージでも、何倍もの費用がかかることがあります。両方の完全な構成、成功率、課金の前提、費用の分母が明記されている場合だけ比較してください。
表の最上位が誤解を招くもう1つの理由は、モデルが毎回同じ応答をするとは限らないことです。同じプロンプトでも、推論の道筋が少し変わる場合があります。そのため、同じタスクセットでツールを何度か実行すると、パーセンテージは実行ごとに少し変動します。この変動をばらつきと呼びます。 実用上の結論は単純です。ランキングの2つの行に1〜2パーセントの差しかなければ、その差はノイズかもしれません。「2パーセント高い」ツールを追いかけるのは賢明ではありません。次の実行では簡単に順位が入れ替わる可能性があります。大規模なタスクセット全体で目立つ差が一貫して続く場合に、初めて有意な差として検討する価値があります。数ポイントの差ではその基準を満たしません。 そして最後に、ほとんどの場合はパーセンテージそのものより重要なのが価格です。似た結果でも、費用が大きく異なることがあります。費用比較には両方のモデルとハーネス構成、失敗分を含む評価全体の支出が必要です。試行単価なら試行数、解決単価なら解決数で割り、どちらか明記します。この記事には出典付きの対の費用測定はありません。したがって、ランキングの行は必ず価格と併せて読んでください。パーセンテージだけではほとんど意味がありません。[解決したタスク1件あたりのコスト](https://ailoot.ai/blog/ja/ai-agent-cost-per-solved-task/)の記事では、公平なツールのコスト比較方法を説明しています。 ## どんなベンチマーク表でも1分で読むには？
重要なポイント ランキングを信頼する前に、7つの点を確認してください。タスクセットは何か？タスクは新しいか古いか？どのモデルか？どのエージェントラッパーか？推論レベルはどれか？タスクあたりのコストはいくらか？ばらつきはどれくらいか？表がこれらのうち少なくとも半分に答えていなければ、信頼できません。おそらく広告でしょう。それとは別に、セット内のタスクが実際の仕事に似ているかを確認してください。他者のタスクで得られた誠実なパーセンテージでも、そのまま自分のプロジェクトには当てはまりません。
ここまでを短いチェックリストにまとめます。どんなランキング表でも開き、次の7項目を順に確認してください。 1. **どのタスクセットか？** 現在、HumanEvalは弱い指標であり、SWE-benchのほうが実際の仕事に近いセットです。セット名がまったく記載されていなければ、先を読む必要はありません。 2. **タスクは新しいか古いか？** 新しいセット、または一部が非公開のセットは、モデルが学習した可能性のある古い公開セットより信頼できます。 3. **測定したモデルはどれか？** あいまいな「AI」やモデルファミリーの名称ではなく、正確な名前とバージョンを確認します。 4. **どのエージェントラッパーか？** パーセンテージが示すのは「モデル＋ラッパー」の組み合わせです。ラッパーが明記されていなければ、何を測定したのか分かりません。 5. **推論レベルはどれか？** 同じモデルでも、レベルが異なればパーセンテージもコストも変わります。 6. **タスクあたりの費用はいくらか？** 似た結果でも価格が何倍も異なることがあります。パーセンテージと費用を併せて確認してください。 7. **ばらつきはどれくらいか？** 行どうしの1〜2ポイントの差は、単なるノイズであることがよくあります。 8つ目の質問は、あなた自身に関するものです。**セット内のタスクはあなたの仕事に似ているか？** Pythonのタスクで構成されたベンチマークは、別のツールセットでウェブサイトやボットを作っている人にはあまり参考になりません。他者のタスクで得られた誠実な数値でも、あなたのプロジェクトでの成果を保証しません。確かめる方法は1つだけです。典型的なタスクをいくつかツールに実行させ、結果を自分で確認してください。[AIが生成したコードの確認方法](https://ailoot.ai/blog/ja/check-ai-generated-code/)の記事では、自分でプログラミングしなくてもコードが動作するかを見分ける方法を説明しています。 ## 結局、何を見ればよいのか？
重要なポイント ランキングの最上段だけではなく、その下にある条件を見てください。タスクセットとその新しさ、「モデル＋ラッパー」の組み合わせ、推論レベル、タスクあたりのコスト、ばらつきの大きさです。こうした条件のない単独の数値は、何も証明しません。また、他者のタスクで得られた誠実なパーセンテージであっても、自分のプロジェクトにはそのまま当てはまりません。最終的な判断は、実際のタスクを使ったテストに委ねられます。その結果は、ランキングの順位より、ツールの使い方に大きく左右されます。
この記事全体の要点は簡潔です。ランキングの順位はツールを詳しく調べるきっかけになりますが、その先は自分で確かめる必要があります。大きな数値が示すのは、そのツールが特定の非公開ではないタスクリストを、特定の条件下でうまくこなしたということだけです。その条件があなたの環境に合っているかどうかは、パーセンテージからは分かりません。 したがって、ランキングの行の下に書かれた内容を読んでください。どのタスクか、新しいか、どのモデルとラッパーを組み合わせたか、推論レベルはいくつか、費用はいくらか、差がノイズに埋もれていないか。これらの疑問に答えない表は、広告バナーに載せるようなものです。[2026年にコーディングにどのツールを使うか](https://ailoot.ai/blog/ja/ai-coding-tools/)の記事では、そもそも自分のタスクにどのツールを選べばよいかを解説しています。 そして、どのベンチマークよりも重要なことがあります。最高のツールであっても、コンテキストが乱雑なら苦戦し、きれいに整理されたコンテキストならうまく動きます。個人の成功率は、モデルに何を渡し、タスクをどう提示するかで決まります。表の順位は二次的です。ランキングを使えば明らかに弱い選択肢を除外できますが、成果を生み出すのはあなたです。
### 出典 - [HumanEval - dataset openai/openai_humaneval (huggingface.co)](https://huggingface.co/datasets/openai/openai_humaneval) - 自動テストで確認するPythonタスク164件のセット
ランキングの順位は弱い選択肢を除外するのに役立ちますが、あなたのプロジェクトでの成果は、AIクローン＋Second Brain＋コンテキストエンジニアリングという手法に左右されます。 この先の作業には、[Ailoot](https://ailoot.ai/)をご利用ください。 ## AIコーディングベンチマークの読み方と、論文上の勝者を選ばない方法：よくある質問 ### ベンチマークの2行を比較する前に、何を記録しますか？ 正確なモデル、エージェントのハーネスと版、推論設定、対象タスク、採点方法、日付、直接の結果資料です。これらなしでは、点差を1つの設定変更の効果と判断できません。 ### 試行1件の費用と、解決1件の費用は同じですか？ いいえ。評価の総支出を全試行数で割るか、解決数で割るかが違います。失敗分も含め、分母を明記してから価格を比較してください。 ## Ailoot · 企業とそのプロジェクト群 Ailootは、蓄積した運営経験、幅広い顧客基盤、安定したサービス、継続的なKPI管理を基盤としています。 企業とそのプロジェクト群：数百万の顧客、毎月数十億規模の売上。 Ailootはこの運営経験を、お客様の製品、エージェント、アプリケーション、自動化でAI機能を利用するためのAPIアクセスに活かしています。