Claude Code解決率38.8%:実企業コード640試行のCodex CLI比較と本番Evals設計
非公開リポジトリを対象とした最新ベンチマーク「Real-SWE」の640試行データを徹底検証。Claude Code(38.8%)、Codex CLI(33.8%)、Gemini CLI(31.2%)のハーネス連携効率と失敗特性を比較し、Docker/gVisorによる自社Evalsテストベッド構築手順と本番採用基準を策定する。
非公開リポジトリを対象とした最新ベンチマーク「Real-SWE」の640試行データを徹底検証。Claude Code(38.8%)、Codex CLI(33.8%)、Gemini CLI(31.2%)のハーネス連携効率と失敗特性を比較し、Docker/gVisorによる自社Evalsテストベッド構築手順と本番採用基準を策定する。