履歴

前回の測定(2026-10-19、コミット 6cb06da42670)からの変化

結果が変わった関数はありません。

推移

線が途切れ、点線の縦線がある所では、測った関数が変わっています。その前後の値は比べられません。

合格率(%)
dev/cruxevaldev/humaneval_plusdev/thealgorithmsholdout/mbpp_plus
行数: 復元 ÷ 元(合格した関数の合計)
dev/cruxevaldev/humaneval_plusdev/thealgorithmsholdout/mbpp_plus
認知的複雑度: 復元 ÷ 元(合格した関数の合計)
dev/cruxevaldev/humaneval_plusdev/thealgorithmsholdout/mbpp_plus
本ツールに残った定型処理(angr に対する %、低いほど良い)
dev/cruxevaldev/humaneval_plusdev/thealgorithmsholdout/mbpp_plus

1 行が 1 回の測定です。新しい順に並べています。同じソースコードでも、時間切れや異常終了の数は測定ごとに変わることがあります。

dev/cruxevaldev/humaneval_plusdev/thealgorithmsholdout/mbpp_plus
開始コミットコーパスCI ジョブ合格不合格エラー合計合格不合格エラー合計合格不合格エラー合計合格不合格エラー合計
2026-11-07T18:05:45Z8aa34d0055dfcorpus-dev-2026-10-18-ddc7b737f302
corpus-holdout-2026-10-18-ddc7b737f302
4239907762372506378815808166169703982095166037203
2026-10-19T02:46:17Z6cb06da42670corpus-dev-2026-10-18-ddc7b737f302
corpus-holdout-2026-10-18-ddc7b737f302
3919113566372506378815808166169703982095166037203
2026-10-18T18:05:48Za15f8d891708corpus-dev-2026-10-12-5ca4be0093b1
corpus-holdout-2026-10-12-5ca4be0093b1
3915220557472506378815808166169703982095166037203
2026-10-17T18:06:01Z443af03fcb1bcorpus-dev-2026-10-12-5ca4be0093b1
corpus-holdout-2026-10-12-5ca4be0093b1
3905627486472506378815808166169703982095166037203
2026-10-17T04:29:45Zbb9b041e58bdcorpus-dev-2026-10-12-5ca4be0093b1
corpus-holdout-2026-10-12-5ca4be0093b1
3894419685672506378815808166169703982095166037203
2026-10-12T12:39:04Z13ea545ff509corpus-dev-2026-10-12-5ca4be0093b1
corpus-holdout-2026-10-12-5ca4be0093b1
38249365453725063788158 (-2)08166 (-2)1697 (-160)0398 (-52)2095 (-212)166037203
2026-10-12T09:34:31Zdcfbaecb4bdacorpus-dev-2026-10-12-c34a75dd6a1d
corpus-holdout-2026-10-12-c34a75dd6a1d
38229977058725 (+8)063 (-8)788160081681857 (+25)0450 (-25)2307166037203
2026-09-28T18:07:13Z82f7c976e525corpus-dev-2026-09-20-c037740453c2
corpus-holdout-2026-09-20-c037740453c2
36462291622717071788160081681832 (+1)0475 (-1)2307166037203
2026-09-24T18:04:31Z84b5e3ca6c25corpus-dev-2026-09-20-c037740453c2
corpus-holdout-2026-09-20-c037740453c2
36038309389717071788160081681831 (+20)0476 (-20)2307166037203
2026-09-23T18:28:57Z0a9ad5100ebccorpus-dev-2026-09-20-c037740453c2
corpus-holdout-2026-09-20-c037740453c2
35902215662717 (+1)071 (-1)788160081681811 (+58)0496 (-58)2307166 (+2)0 (-1)37 (-1)203
2026-09-22T11:12:34Zcdc91528f5c8corpus-dev-2026-09-20-c037740453c2
corpus-holdout-2026-09-20-c037740453c2
35718600858716 (+35)072 (-35)788160 (+6)08 (-6)1681753 (+79)0 (-1)554 (-78)2307164 (+3)138 (-3)203
2026-09-20T13:56:32Z576a336fc4e6corpus-dev-2026-09-20-c037740453c2
corpus-holdout-2026-09-20-c037740453c2
-6810107788154014168167416322307161141203