{
  "protocol": {
    "selection": "10 per class from test, lowest SHA256(seed+filename); independent of predictions",
    "seed": "aid-controlled-20261022-v1",
    "images": 300,
    "conditions": [
      "control",
      "blur_1",
      "blur_2",
      "contrast_0.5",
      "contrast_1.5",
      "shift_left_60",
      "shift_right_60"
    ],
    "variant_rows": 2100,
    "image_policy": "All controls and transformed variants are 600x600 RGB lossless PNG; control preserves decoded RGB pixels; no resizing.",
    "transformations": {
      "blur": "Pillow GaussianBlur radius 1 or 2 pixels",
      "contrast": "Pillow ImageEnhance.Contrast factors 0.5 and 1.5",
      "shift": "60 pixels left/right with reflected fill; crops 60 original boundary pixels, so this is not pure object-position isolation"
    },
    "analysis": "Paired accuracy changes vs fresh control; McNemar tests; pairwise differences of change via paired randomization; Holm across 30 within-model and 60 between-model tests.",
    "notes": [
      "Equal-class balanced subset; accuracy is not directly comparable to the full test split.",
      "Ground truth held fixed; stronger transforms may remove discriminative evidence.",
      "Single stochastic response per model/image/condition; repeat on independent data to confirm."
    ],
    "experiment": "controlled-definitions-v1",
    "prompt_condition": "aid-definitions-v1",
    "prompt_sha256": "12e2b2b58a973300a03c8c307366cefa37488dce365152bb2852d08115a5ea1b",
    "case_manifest_sha256": "3d1f6fe4bc546ac861c4825bf2da3e07ffb42d417e6c3f918fefdca11fe1a625",
    "dataset": "aid-controlled-300-v1",
    "dataset_version": "1000198078684663546",
    "models": ["luna", "jev", "clef", "d1", "d1-ultra"],
    "trials": 1,
    "control": "Fresh clean PNG predictions with the same definitions prompt as every transformation; never use full-test or historical accuracy as the control.",
    "max_concurrency_per_model": 6
  },
  "analysis": {
    "method": "Paired 300-image analysis; exact McNemar within model; exact paired model-label-swap tests on differences in accuracy changes between models. Holm correction across all 90 planned tests.",
    "note": "Negative change means accuracy loss vs fresh PNG control; equal-class balanced subset. Single response per condition.",
    "run_prefix": "controlled-definitions-v1",
    "interval_method": "Pointwise 95% paired source bootstrap, stratified by reference class; 5,000 replicates, seed 20261028. Intervals are not multiplicity-adjusted.",
    "models": {
      "luna": {
        "experiment_url": "https://www.braintrust.dev/app/eval_engineering/p/aid-single-label-comparison/experiments/controlled-definitions-v1-luna__luna",
        "cost": 0.2926373,
        "predictions": 2100,
        "valid": 2099,
        "prediction_export_sha256": "58bc62729e6c44d1b974b9089925ed5d55053f02ca2a4a4a6c2844445639f566",
        "conditions": {
          "control": {
            "accuracy": 0.8433333333333334,
            "accuracy_bootstrap_95": [0.81, 0.8766666666666667],
            "change_pp_bootstrap_95": [0.0, 0.0],
            "ece_10": 0.04709030100334448,
            "ece_change_pp": 0.0,
            "ece_change_pp_bootstrap_95": [0.0, 0.0],
            "change_pp": 0.0,
            "valid": 300,
            "prediction_flips": 0,
            "lost_correct": 0,
            "gained_correct": 0
          },
          "blur_1": {
            "accuracy": 0.84,
            "accuracy_bootstrap_95": [0.8066666666666666, 0.8733333333333333],
            "change_pp_bootstrap_95": [-3.3333333333333335, 2.3333333333333335],
            "ece_10": 0.05819397993311037,
            "ece_change_pp": 1.1103678929765888,
            "ece_change_pp_bootstrap_95": [
              -1.6310173378076083, 3.6257826086956473
            ],
            "change_pp": -0.33333333333333337,
            "valid": 299,
            "prediction_flips": 27,
            "lost_correct": 11,
            "gained_correct": 10
          },
          "blur_2": {
            "accuracy": 0.8,
            "accuracy_bootstrap_95": [0.7633333333333333, 0.8366666666666667],
            "change_pp_bootstrap_95": [
              -8.333333333333332, -0.33333333333333337
            ],
            "ece_10": 0.04993311036789297,
            "ece_change_pp": 0.28428093645484903,
            "ece_change_pp_bootstrap_95": [
              -2.8558120805369125, 3.174565666315006
            ],
            "change_pp": -4.333333333333334,
            "valid": 300,
            "prediction_flips": 45,
            "lost_correct": 27,
            "gained_correct": 14
          },
          "contrast_0.5": {
            "accuracy": 0.8366666666666667,
            "accuracy_bootstrap_95": [0.8, 0.8733333333333333],
            "change_pp_bootstrap_95": [-3.6666666666666665, 2.3333333333333335],
            "ece_10": 0.060969899665551844,
            "ece_change_pp": 1.3879598662207364,
            "ece_change_pp_bootstrap_95": [
              -1.6288768115942025, 4.087742699378233
            ],
            "change_pp": -0.6666666666666667,
            "valid": 300,
            "prediction_flips": 28,
            "lost_correct": 12,
            "gained_correct": 10
          },
          "contrast_1.5": {
            "accuracy": 0.8533333333333334,
            "accuracy_bootstrap_95": [0.8166666666666667, 0.8866666666666667],
            "change_pp_bootstrap_95": [-1.6666666666666667, 3.6666666666666665],
            "ece_10": 0.05521739130434782,
            "ece_change_pp": 0.8127090301003344,
            "ece_change_pp_bootstrap_95": [
              -1.8330267558528432, 3.5600572390572376
            ],
            "change_pp": 1.0,
            "valid": 300,
            "prediction_flips": 20,
            "lost_correct": 7,
            "gained_correct": 10
          },
          "shift_left_60": {
            "accuracy": 0.7966666666666666,
            "accuracy_bootstrap_95": [0.7566666666666667, 0.8366666666666667],
            "change_pp_bootstrap_95": [-7.666666666666666, -1.6666666666666667],
            "ece_10": 0.07311036789297659,
            "ece_change_pp": 2.602006688963211,
            "ece_change_pp_bootstrap_95": [
              -0.8035833333333335, 4.7149793064876935
            ],
            "change_pp": -4.666666666666667,
            "valid": 300,
            "prediction_flips": 29,
            "lost_correct": 19,
            "gained_correct": 5
          },
          "shift_right_60": {
            "accuracy": 0.83,
            "accuracy_bootstrap_95": [0.7966666666666666, 0.8666666666666667],
            "change_pp_bootstrap_95": [-4.0, 1.3333333333333335],
            "ece_10": 0.05852842809364549,
            "ece_change_pp": 1.143812709030101,
            "ece_change_pp_bootstrap_95": [
              -2.498494983277594, 4.010200668896319
            ],
            "change_pp": -1.3333333333333335,
            "valid": 300,
            "prediction_flips": 30,
            "lost_correct": 11,
            "gained_correct": 7
          }
        },
        "calibration_common_valid_sources": 299
      },
      "jev": {
        "experiment_url": "https://www.braintrust.dev/app/eval_engineering/p/aid-single-label-comparison/experiments/controlled-definitions-v1-jev__jev",
        "cost": 0.21995421,
        "predictions": 2100,
        "valid": 2100,
        "prediction_export_sha256": "01c8af96164f41c14628e90ef0c935eb06d96752819528d304b8c52d6431cbe7",
        "conditions": {
          "control": {
            "accuracy": 0.8666666666666667,
            "accuracy_bootstrap_95": [0.8333333333333334, 0.9],
            "change_pp_bootstrap_95": [0.0, 0.0],
            "ece_10": 0.027842424242424238,
            "ece_change_pp": 0.0,
            "ece_change_pp_bootstrap_95": [0.0, 0.0],
            "change_pp": 0.0,
            "valid": 300,
            "prediction_flips": 0,
            "lost_correct": 0,
            "gained_correct": 0
          },
          "blur_1": {
            "accuracy": 0.8533333333333334,
            "accuracy_bootstrap_95": [0.82, 0.8866666666666667],
            "change_pp_bootstrap_95": [-4.0, 1.3333333333333335],
            "ece_10": 0.04936902356902357,
            "ece_change_pp": 2.152659932659933,
            "ece_change_pp_bootstrap_95": [
              -1.97907239057239, 4.580670875420873
            ],
            "change_pp": -1.3333333333333335,
            "valid": 300,
            "prediction_flips": 21,
            "lost_correct": 11,
            "gained_correct": 7
          },
          "blur_2": {
            "accuracy": 0.8233333333333334,
            "accuracy_bootstrap_95": [0.7833333333333333, 0.86],
            "change_pp_bootstrap_95": [-8.0, -0.6666666666666667],
            "ece_10": 0.0343053872053872,
            "ece_change_pp": 0.6462962962962961,
            "ece_change_pp_bootstrap_95": [
              -3.046675925925924, 3.856484006734005
            ],
            "change_pp": -4.333333333333334,
            "valid": 300,
            "prediction_flips": 37,
            "lost_correct": 24,
            "gained_correct": 11
          },
          "contrast_0.5": {
            "accuracy": 0.8466666666666667,
            "accuracy_bootstrap_95": [0.8133333333333334, 0.88],
            "change_pp_bootstrap_95": [
              -4.333333333333334, 0.008333333333212069
            ],
            "ece_10": 0.026178114478114477,
            "ece_change_pp": -0.16643097643097604,
            "ece_change_pp_bootstrap_95": [
              -3.0969739057239045, 2.79596632996633
            ],
            "change_pp": -2.0,
            "valid": 300,
            "prediction_flips": 16,
            "lost_correct": 10,
            "gained_correct": 4
          },
          "contrast_1.5": {
            "accuracy": 0.8766666666666667,
            "accuracy_bootstrap_95": [0.8433333333333334, 0.9066666666666666],
            "change_pp_bootstrap_95": [-1.3333333333333335, 3.3416666666665455],
            "ece_10": 0.03615555555555556,
            "ece_change_pp": 0.8313131313131321,
            "ece_change_pp_bootstrap_95": [
              -2.430712962962962, 3.1027634680134644
            ],
            "change_pp": 1.0,
            "valid": 300,
            "prediction_flips": 16,
            "lost_correct": 6,
            "gained_correct": 9
          },
          "shift_left_60": {
            "accuracy": 0.8466666666666667,
            "accuracy_bootstrap_95": [0.8133333333333334, 0.88],
            "change_pp_bootstrap_95": [-4.333333333333334, 0.0],
            "ece_10": 0.046264309764309765,
            "ece_change_pp": 1.8421885521885526,
            "ece_change_pp_bootstrap_95": [
              -2.2611170033670023, 4.2535740740740735
            ],
            "change_pp": -2.0,
            "valid": 300,
            "prediction_flips": 14,
            "lost_correct": 9,
            "gained_correct": 3
          },
          "shift_right_60": {
            "accuracy": 0.8566666666666667,
            "accuracy_bootstrap_95": [0.8233333333333334, 0.89],
            "change_pp_bootstrap_95": [-3.6666666666666665, 1.6666666666666667],
            "ece_10": 0.04227306397306397,
            "ece_change_pp": 1.4430639730639732,
            "ece_change_pp_bootstrap_95": [
              -2.230450336700334, 4.456744107744106
            ],
            "change_pp": -1.0,
            "valid": 300,
            "prediction_flips": 22,
            "lost_correct": 12,
            "gained_correct": 9
          }
        },
        "calibration_common_valid_sources": 300
      },
      "clef": {
        "experiment_url": "https://www.braintrust.dev/app/eval_engineering/p/aid-single-label-comparison/experiments/controlled-definitions-v1-clef__clef",
        "cost": 0.898632,
        "predictions": 2100,
        "valid": 2100,
        "prediction_export_sha256": "4d8ee843332710eb11389492223bde9beea8377618b567c4bf2efc4f3f291c6c",
        "conditions": {
          "control": {
            "accuracy": 0.84,
            "accuracy_bootstrap_95": [0.8033333333333333, 0.8766666666666667],
            "change_pp_bootstrap_95": [0.0, 0.0],
            "ece_10": 0.129674,
            "ece_change_pp": 0.0,
            "ece_change_pp_bootstrap_95": [0.0, 0.0],
            "change_pp": 0.0,
            "valid": 300,
            "prediction_flips": 0,
            "lost_correct": 0,
            "gained_correct": 0
          },
          "blur_1": {
            "accuracy": 0.8333333333333334,
            "accuracy_bootstrap_95": [0.7966666666666666, 0.87],
            "change_pp_bootstrap_95": [-3.3333333333333335, 2.0],
            "ece_10": 0.131513,
            "ece_change_pp": 0.18389999999999795,
            "ece_change_pp_bootstrap_95": [
              -2.517751666666671, 3.1165741666666653
            ],
            "change_pp": -0.6666666666666667,
            "valid": 300,
            "prediction_flips": 22,
            "lost_correct": 11,
            "gained_correct": 9
          },
          "blur_2": {
            "accuracy": 0.7933333333333333,
            "accuracy_bootstrap_95": [0.7566666666666667, 0.83],
            "change_pp_bootstrap_95": [-8.0, -1.0],
            "ece_10": 0.12944266666666665,
            "ece_change_pp": -0.023133333333336115,
            "ece_change_pp_bootstrap_95": [
              -3.232794166666667, 4.578087499999996
            ],
            "change_pp": -4.666666666666667,
            "valid": 300,
            "prediction_flips": 42,
            "lost_correct": 25,
            "gained_correct": 11
          },
          "contrast_0.5": {
            "accuracy": 0.8033333333333333,
            "accuracy_bootstrap_95": [0.7666666666666667, 0.84],
            "change_pp_bootstrap_95": [-6.333333333333334, -1.0],
            "ece_10": 0.10871333333333333,
            "ece_change_pp": -2.096066666666668,
            "ece_change_pp_bootstrap_95": [
              -4.470141666666666, 1.9387650000000007
            ],
            "change_pp": -3.6666666666666665,
            "valid": 300,
            "prediction_flips": 25,
            "lost_correct": 16,
            "gained_correct": 5
          },
          "contrast_1.5": {
            "accuracy": 0.8233333333333334,
            "accuracy_bootstrap_95": [0.7833333333333333, 0.8600833333333321],
            "change_pp_bootstrap_95": [-4.333333333333334, 1.0],
            "ece_10": 0.11495666666666665,
            "ece_change_pp": -1.471733333333336,
            "ece_change_pp_bootstrap_95": [
              -3.781383333333333, 1.9227424999999945
            ],
            "change_pp": -1.6666666666666667,
            "valid": 300,
            "prediction_flips": 22,
            "lost_correct": 12,
            "gained_correct": 7
          },
          "shift_left_60": {
            "accuracy": 0.77,
            "accuracy_bootstrap_95": [0.73, 0.81],
            "change_pp_bootstrap_95": [
              -10.333333333333334, -3.6666666666666665
            ],
            "ece_10": 0.09241733333333334,
            "ece_change_pp": -3.7256666666666676,
            "ece_change_pp_bootstrap_95": [
              -6.023226666666667, 0.2971624999999923
            ],
            "change_pp": -7.000000000000001,
            "valid": 300,
            "prediction_flips": 31,
            "lost_correct": 25,
            "gained_correct": 4
          },
          "shift_right_60": {
            "accuracy": 0.8033333333333333,
            "accuracy_bootstrap_95": [0.7633333333333333, 0.84],
            "change_pp_bootstrap_95": [-6.666666666666667, -0.6666666666666667],
            "ece_10": 0.12800533333333333,
            "ece_change_pp": -0.16686666666666794,
            "ece_change_pp_bootstrap_95": [
              -3.4417374999999986, 2.9384183333333342
            ],
            "change_pp": -3.6666666666666665,
            "valid": 300,
            "prediction_flips": 33,
            "lost_correct": 18,
            "gained_correct": 7
          }
        },
        "calibration_common_valid_sources": 300
      },
      "d1": {
        "experiment_url": "https://www.braintrust.dev/app/eval_engineering/p/aid-single-label-comparison/experiments/controlled-definitions-v1-d1__d1",
        "cost": 0.060438,
        "predictions": 2100,
        "valid": 2100,
        "prediction_export_sha256": "846e78f8b027839decb80be9a386641fd87eeed601ea875f22b655c0bb81af51",
        "conditions": {
          "control": {
            "accuracy": 0.84,
            "accuracy_bootstrap_95": [0.8066666666666666, 0.8733333333333333],
            "change_pp_bootstrap_95": [0.0, 0.0],
            "ece_10": 0.056545228960094604,
            "ece_change_pp": 0.0,
            "ece_change_pp_bootstrap_95": [0.0, 0.0],
            "change_pp": 0.0,
            "valid": 300,
            "prediction_flips": 0,
            "lost_correct": 0,
            "gained_correct": 0
          },
          "blur_1": {
            "accuracy": 0.83,
            "accuracy_bootstrap_95": [0.7933333333333333, 0.8633333333333333],
            "change_pp_bootstrap_95": [-4.0, 2.0],
            "ece_10": 0.05212906841688876,
            "ece_change_pp": -0.4416160543205844,
            "ece_change_pp_bootstrap_95": [
              -2.7749830225374157, 2.960365809744385
            ],
            "change_pp": -1.0,
            "valid": 300,
            "prediction_flips": 25,
            "lost_correct": 13,
            "gained_correct": 10
          },
          "blur_2": {
            "accuracy": 0.8266666666666667,
            "accuracy_bootstrap_95": [0.79, 0.8633333333333333],
            "change_pp_bootstrap_95": [-4.333333333333334, 1.6666666666666667],
            "ece_10": 0.07981192871277393,
            "ece_change_pp": 2.3266699752679325,
            "ece_change_pp_bootstrap_95": [
              -0.9467105529099304, 4.923755194691233
            ],
            "change_pp": -1.3333333333333335,
            "valid": 300,
            "prediction_flips": 30,
            "lost_correct": 16,
            "gained_correct": 12
          },
          "contrast_0.5": {
            "accuracy": 0.83,
            "accuracy_bootstrap_95": [0.7966666666666666, 0.8633333333333333],
            "change_pp_bootstrap_95": [-3.0, 1.0],
            "ece_10": 0.056600379121671075,
            "ece_change_pp": 0.005515016157647129,
            "ece_change_pp_bootstrap_95": [
              -2.448379196084772, 3.0405024851188034
            ],
            "change_pp": -1.0,
            "valid": 300,
            "prediction_flips": 14,
            "lost_correct": 7,
            "gained_correct": 4
          },
          "contrast_1.5": {
            "accuracy": 0.8233333333333334,
            "accuracy_bootstrap_95": [0.7866666666666666, 0.86],
            "change_pp_bootstrap_95": [-4.666666666666667, 1.0],
            "ece_10": 0.03915971669020761,
            "ece_change_pp": -1.7385512269886993,
            "ece_change_pp_bootstrap_95": [
              -3.5952056676716406, 2.490340582053738
            ],
            "change_pp": -1.6666666666666667,
            "valid": 300,
            "prediction_flips": 21,
            "lost_correct": 13,
            "gained_correct": 8
          },
          "shift_left_60": {
            "accuracy": 0.8233333333333334,
            "accuracy_bootstrap_95": [0.7866666666666666, 0.86],
            "change_pp_bootstrap_95": [-5.0, 1.3333333333333335],
            "ece_10": 0.07167639083888926,
            "ece_change_pp": 1.5131161878794652,
            "ece_change_pp_bootstrap_95": [
              -1.5819379266269324, 4.447654999977522
            ],
            "change_pp": -1.6666666666666667,
            "valid": 300,
            "prediction_flips": 26,
            "lost_correct": 15,
            "gained_correct": 10
          },
          "shift_right_60": {
            "accuracy": 0.8533333333333334,
            "accuracy_bootstrap_95": [0.82, 0.8866666666666667],
            "change_pp_bootstrap_95": [-1.3333333333333335, 4.0],
            "ece_10": 0.08075870704797633,
            "ece_change_pp": 2.421347808788173,
            "ece_change_pp_bootstrap_95": [
              -1.0310783682896987, 4.87601892483398
            ],
            "change_pp": 1.3333333333333335,
            "valid": 300,
            "prediction_flips": 22,
            "lost_correct": 8,
            "gained_correct": 12
          }
        },
        "calibration_common_valid_sources": 300
      },
      "d1-ultra": {
        "experiment_url": "https://www.braintrust.dev/app/eval_engineering/p/aid-single-label-comparison/experiments/controlled-definitions-v1-d1-ultra__d1-ultra",
        "cost": 0.1269198,
        "predictions": 2100,
        "valid": 2100,
        "prediction_export_sha256": "f46cb7969412c8fd5caa3c5ed29f490a904c8cc11b0e5afd46c0eab1b5cfe8cd",
        "conditions": {
          "control": {
            "accuracy": 0.86,
            "accuracy_bootstrap_95": [0.8233333333333334, 0.8933333333333333],
            "change_pp_bootstrap_95": [0.0, 0.0],
            "ece_10": 0.0954806949549403,
            "ece_change_pp": 0.0,
            "ece_change_pp_bootstrap_95": [0.0, 0.0],
            "change_pp": 0.0,
            "valid": 300,
            "prediction_flips": 0,
            "lost_correct": 0,
            "gained_correct": 0
          },
          "blur_1": {
            "accuracy": 0.86,
            "accuracy_bootstrap_95": [0.8233333333333334, 0.8933333333333333],
            "change_pp_bootstrap_95": [-2.3333333333333335, 2.3333333333333335],
            "ece_10": 0.1004868569459732,
            "ece_change_pp": 0.5006161991032904,
            "ece_change_pp_bootstrap_95": [
              -2.3546582278326422, 2.5601380371330063
            ],
            "change_pp": 0.0,
            "valid": 300,
            "prediction_flips": 17,
            "lost_correct": 7,
            "gained_correct": 7
          },
          "blur_2": {
            "accuracy": 0.8466666666666667,
            "accuracy_bootstrap_95": [0.81, 0.8833333333333333],
            "change_pp_bootstrap_95": [-4.00833333333333, 1.6666666666666667],
            "ece_10": 0.10746554923722765,
            "ece_change_pp": 1.198485428228735,
            "ece_change_pp_bootstrap_95": [
              -2.1040571295967774, 4.031909743494894
            ],
            "change_pp": -1.3333333333333335,
            "valid": 300,
            "prediction_flips": 28,
            "lost_correct": 14,
            "gained_correct": 10
          },
          "contrast_0.5": {
            "accuracy": 0.87,
            "accuracy_bootstrap_95": [0.8366666666666667, 0.9033333333333333],
            "change_pp_bootstrap_95": [-1.6666666666666667, 3.6666666666666665],
            "ece_10": 0.12320620867080388,
            "ece_change_pp": 2.7725513715863586,
            "ece_change_pp_bootstrap_95": [
              -0.5401614041047534, 5.978165765298764
            ],
            "change_pp": 1.0,
            "valid": 300,
            "prediction_flips": 23,
            "lost_correct": 9,
            "gained_correct": 12
          },
          "contrast_1.5": {
            "accuracy": 0.88,
            "accuracy_bootstrap_95": [0.8466666666666667, 0.91],
            "change_pp_bootstrap_95": [-0.6666666666666667, 4.666666666666667],
            "ece_10": 0.11332898062505427,
            "ece_change_pp": 1.784828567011397,
            "ece_change_pp_bootstrap_95": [
              -1.3014163434810024, 3.9155602151340303
            ],
            "change_pp": 2.0,
            "valid": 300,
            "prediction_flips": 18,
            "lost_correct": 5,
            "gained_correct": 11
          },
          "shift_left_60": {
            "accuracy": 0.8566666666666667,
            "accuracy_bootstrap_95": [0.82, 0.89],
            "change_pp_bootstrap_95": [-3.6666666666666665, 2.666666666666667],
            "ece_10": 0.13018078790659438,
            "ece_change_pp": 3.470009295165408,
            "ece_change_pp_bootstrap_95": [
              -0.3918344949654751, 6.251249480558825
            ],
            "change_pp": -0.33333333333333337,
            "valid": 300,
            "prediction_flips": 31,
            "lost_correct": 15,
            "gained_correct": 14
          },
          "shift_right_60": {
            "accuracy": 0.8633333333333333,
            "accuracy_bootstrap_95": [0.83, 0.8966666666666666],
            "change_pp_bootstrap_95": [-2.666666666666667, 3.3333333333333335],
            "ece_10": 0.1341109187947729,
            "ece_change_pp": 3.863022383983261,
            "ece_change_pp_bootstrap_95": [
              0.5944619900900232, 6.684845740006613
            ],
            "change_pp": 0.33333333333333337,
            "valid": 300,
            "prediction_flips": 28,
            "lost_correct": 12,
            "gained_correct": 13
          }
        },
        "calibration_common_valid_sources": 300
      }
    },
    "tests": [
      {
        "kind": "within_model",
        "model": "luna",
        "condition": "blur_1",
        "change_pp": -0.33333333333333337,
        "p": 1.0,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "within_model",
        "model": "luna",
        "condition": "blur_2",
        "change_pp": -4.333333333333334,
        "p": 0.05958388801809633,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "within_model",
        "model": "luna",
        "condition": "contrast_0.5",
        "change_pp": -0.6666666666666667,
        "p": 0.8318119049072266,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "within_model",
        "model": "luna",
        "condition": "contrast_1.5",
        "change_pp": 1.0,
        "p": 0.629058837890625,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "within_model",
        "model": "luna",
        "condition": "shift_left_60",
        "change_pp": -4.666666666666667,
        "p": 0.006610751152038574,
        "p_holm": 0.5883568525314331,
        "significant": false
      },
      {
        "kind": "within_model",
        "model": "luna",
        "condition": "shift_right_60",
        "change_pp": -1.3333333333333335,
        "p": 0.480682373046875,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "within_model",
        "model": "jev",
        "condition": "blur_1",
        "change_pp": -1.3333333333333335,
        "p": 0.480682373046875,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "within_model",
        "model": "jev",
        "condition": "blur_2",
        "change_pp": -4.333333333333334,
        "p": 0.04095959151163697,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "within_model",
        "model": "jev",
        "condition": "contrast_0.5",
        "change_pp": -2.0,
        "p": 0.1795654296875,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "within_model",
        "model": "jev",
        "condition": "contrast_1.5",
        "change_pp": 1.0,
        "p": 0.60723876953125,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "within_model",
        "model": "jev",
        "condition": "shift_left_60",
        "change_pp": -2.0,
        "p": 0.14599609375,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "within_model",
        "model": "jev",
        "condition": "shift_right_60",
        "change_pp": -1.0,
        "p": 0.6636238098144531,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "within_model",
        "model": "clef",
        "condition": "blur_1",
        "change_pp": -0.6666666666666667,
        "p": 0.8238029479980469,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "within_model",
        "model": "clef",
        "condition": "blur_2",
        "change_pp": -4.666666666666667,
        "p": 0.028816719655878842,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "within_model",
        "model": "clef",
        "condition": "contrast_0.5",
        "change_pp": -3.6666666666666665,
        "p": 0.02660369873046875,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "within_model",
        "model": "clef",
        "condition": "contrast_1.5",
        "change_pp": -1.6666666666666667,
        "p": 0.359283447265625,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "within_model",
        "model": "clef",
        "condition": "shift_left_60",
        "change_pp": -7.000000000000001,
        "p": 0.00010371580719947815,
        "p_holm": 0.009334422647953033,
        "significant": true
      },
      {
        "kind": "within_model",
        "model": "clef",
        "condition": "shift_right_60",
        "change_pp": -3.6666666666666665,
        "p": 0.043285250663757324,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "within_model",
        "model": "d1",
        "condition": "blur_1",
        "change_pp": -1.0,
        "p": 0.6776394844055176,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "within_model",
        "model": "d1",
        "condition": "blur_2",
        "change_pp": -1.3333333333333335,
        "p": 0.5715881884098053,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "within_model",
        "model": "d1",
        "condition": "contrast_0.5",
        "change_pp": -1.0,
        "p": 0.548828125,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "within_model",
        "model": "d1",
        "condition": "contrast_1.5",
        "change_pp": -1.6666666666666667,
        "p": 0.38331031799316406,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "within_model",
        "model": "d1",
        "condition": "shift_left_60",
        "change_pp": -1.6666666666666667,
        "p": 0.42435622215270996,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "within_model",
        "model": "d1",
        "condition": "shift_right_60",
        "change_pp": 1.3333333333333335,
        "p": 0.5034446716308594,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "within_model",
        "model": "d1-ultra",
        "condition": "blur_1",
        "change_pp": 0.0,
        "p": 1.0,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "within_model",
        "model": "d1-ultra",
        "condition": "blur_2",
        "change_pp": -1.3333333333333335,
        "p": 0.5412561893463135,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "within_model",
        "model": "d1-ultra",
        "condition": "contrast_0.5",
        "change_pp": 1.0,
        "p": 0.6636238098144531,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "within_model",
        "model": "d1-ultra",
        "condition": "contrast_1.5",
        "change_pp": 2.0,
        "p": 0.210113525390625,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "within_model",
        "model": "d1-ultra",
        "condition": "shift_left_60",
        "change_pp": -0.33333333333333337,
        "p": 1.0,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "within_model",
        "model": "d1-ultra",
        "condition": "shift_right_60",
        "change_pp": 0.33333333333333337,
        "p": 1.0,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "luna",
        "b": "jev",
        "condition": "blur_1",
        "difference_in_change_pp": 1.0,
        "p": 0.7502854117192329,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "luna",
        "b": "clef",
        "condition": "blur_1",
        "difference_in_change_pp": 0.33333333333333337,
        "p": 1.0,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "luna",
        "b": "d1",
        "condition": "blur_1",
        "difference_in_change_pp": 0.6666666666666667,
        "p": 0.8836988513357941,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "luna",
        "b": "d1-ultra",
        "condition": "blur_1",
        "difference_in_change_pp": -0.33333333333333337,
        "p": 0.9999999999999998,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "jev",
        "b": "clef",
        "condition": "blur_1",
        "difference_in_change_pp": -0.6666666666666667,
        "p": 0.871712560416199,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "jev",
        "b": "d1",
        "condition": "blur_1",
        "difference_in_change_pp": -0.33333333333333337,
        "p": 0.9999999999999999,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "jev",
        "b": "d1-ultra",
        "condition": "blur_1",
        "difference_in_change_pp": -1.3333333333333335,
        "p": 0.5977412350475788,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "clef",
        "b": "d1",
        "condition": "blur_1",
        "difference_in_change_pp": 0.33333333333333337,
        "p": 0.9999999999999999,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "clef",
        "b": "d1-ultra",
        "condition": "blur_1",
        "difference_in_change_pp": -0.6666666666666667,
        "p": 0.8649451136589054,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "d1",
        "b": "d1-ultra",
        "condition": "blur_1",
        "difference_in_change_pp": -1.0,
        "p": 0.7283324808813629,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "luna",
        "b": "jev",
        "condition": "blur_2",
        "difference_in_change_pp": 0.0,
        "p": 0.9999999999999997,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "luna",
        "b": "clef",
        "condition": "blur_2",
        "difference_in_change_pp": 0.33333333333333337,
        "p": 1.0,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "luna",
        "b": "d1",
        "condition": "blur_2",
        "difference_in_change_pp": -3.0,
        "p": 0.2984410637137956,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "luna",
        "b": "d1-ultra",
        "condition": "blur_2",
        "difference_in_change_pp": -3.0,
        "p": 0.2901316354687539,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "jev",
        "b": "clef",
        "condition": "blur_2",
        "difference_in_change_pp": 0.33333333333333337,
        "p": 1.0,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "jev",
        "b": "d1",
        "condition": "blur_2",
        "difference_in_change_pp": -3.0,
        "p": 0.2723312434454215,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "jev",
        "b": "d1-ultra",
        "condition": "blur_2",
        "difference_in_change_pp": -3.0,
        "p": 0.2631209216560819,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "clef",
        "b": "d1",
        "condition": "blur_2",
        "difference_in_change_pp": -3.3333333333333335,
        "p": 0.20316409820816272,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "clef",
        "b": "d1-ultra",
        "condition": "blur_2",
        "difference_in_change_pp": -3.3333333333333335,
        "p": 0.18446448477698157,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "d1",
        "b": "d1-ultra",
        "condition": "blur_2",
        "difference_in_change_pp": 0.0,
        "p": 0.999999999999999,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "luna",
        "b": "jev",
        "condition": "contrast_0.5",
        "difference_in_change_pp": 1.3333333333333335,
        "p": 0.6377522218972449,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "luna",
        "b": "clef",
        "condition": "contrast_0.5",
        "difference_in_change_pp": 3.0,
        "p": 0.21144017484039065,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "luna",
        "b": "d1",
        "condition": "contrast_0.5",
        "difference_in_change_pp": 0.33333333333333337,
        "p": 1.0,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "luna",
        "b": "d1-ultra",
        "condition": "contrast_0.5",
        "difference_in_change_pp": -1.6666666666666667,
        "p": 0.5113757815852294,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "jev",
        "b": "clef",
        "condition": "contrast_0.5",
        "difference_in_change_pp": 1.6666666666666667,
        "p": 0.48685024166479696,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "jev",
        "b": "d1",
        "condition": "contrast_0.5",
        "difference_in_change_pp": -1.0,
        "p": 0.691655158996582,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "jev",
        "b": "d1-ultra",
        "condition": "contrast_0.5",
        "difference_in_change_pp": -3.0,
        "p": 0.17546524899080407,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "clef",
        "b": "d1",
        "condition": "contrast_0.5",
        "difference_in_change_pp": -2.666666666666667,
        "p": 0.21604350209236134,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "clef",
        "b": "d1-ultra",
        "condition": "contrast_0.5",
        "difference_in_change_pp": -4.666666666666667,
        "p": 0.028551413211971518,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "d1",
        "b": "d1-ultra",
        "condition": "contrast_0.5",
        "difference_in_change_pp": -2.0,
        "p": 0.37708558747544874,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "luna",
        "b": "jev",
        "condition": "contrast_1.5",
        "difference_in_change_pp": 0.0,
        "p": 1.0,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "luna",
        "b": "clef",
        "condition": "contrast_1.5",
        "difference_in_change_pp": 2.666666666666667,
        "p": 0.24298495403490963,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "luna",
        "b": "d1",
        "condition": "contrast_1.5",
        "difference_in_change_pp": 2.666666666666667,
        "p": 0.29274011636152875,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "luna",
        "b": "d1-ultra",
        "condition": "contrast_1.5",
        "difference_in_change_pp": -1.0,
        "p": 0.720100131817162,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "jev",
        "b": "clef",
        "condition": "contrast_1.5",
        "difference_in_change_pp": 2.666666666666667,
        "p": 0.2153271497227251,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "jev",
        "b": "d1",
        "condition": "contrast_1.5",
        "difference_in_change_pp": 2.666666666666667,
        "p": 0.2571038752794267,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "jev",
        "b": "d1-ultra",
        "condition": "contrast_1.5",
        "difference_in_change_pp": -1.0,
        "p": 0.7011080384254456,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "clef",
        "b": "d1",
        "condition": "contrast_1.5",
        "difference_in_change_pp": 0.0,
        "p": 1.0,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "clef",
        "b": "d1-ultra",
        "condition": "contrast_1.5",
        "difference_in_change_pp": -3.6666666666666665,
        "p": 0.06119272112846371,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "d1",
        "b": "d1-ultra",
        "condition": "contrast_1.5",
        "difference_in_change_pp": -3.6666666666666665,
        "p": 0.1082124202512205,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "luna",
        "b": "jev",
        "condition": "shift_left_60",
        "difference_in_change_pp": -2.666666666666667,
        "p": 0.20048842206597342,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "luna",
        "b": "clef",
        "condition": "shift_left_60",
        "difference_in_change_pp": 2.3333333333333335,
        "p": 0.3712980344710104,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "luna",
        "b": "d1",
        "condition": "shift_left_60",
        "difference_in_change_pp": -3.0,
        "p": 0.22205282015602273,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "luna",
        "b": "d1-ultra",
        "condition": "shift_left_60",
        "difference_in_change_pp": -4.333333333333334,
        "p": 0.09193976853157443,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "jev",
        "b": "clef",
        "condition": "shift_left_60",
        "difference_in_change_pp": 5.0,
        "p": 0.008130058646202098,
        "p_holm": 0.7154451608657846,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "jev",
        "b": "d1",
        "condition": "shift_left_60",
        "difference_in_change_pp": -0.33333333333333337,
        "p": 1.0,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "jev",
        "b": "d1-ultra",
        "condition": "shift_left_60",
        "difference_in_change_pp": -1.6666666666666667,
        "p": 0.512269424740225,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "clef",
        "b": "d1",
        "condition": "shift_left_60",
        "difference_in_change_pp": -5.333333333333334,
        "p": 0.028882549144327647,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "clef",
        "b": "d1-ultra",
        "condition": "shift_left_60",
        "difference_in_change_pp": -6.666666666666667,
        "p": 0.01155851125633945,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "d1",
        "b": "d1-ultra",
        "condition": "shift_left_60",
        "difference_in_change_pp": -1.3333333333333335,
        "p": 0.6784987674207623,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "luna",
        "b": "jev",
        "condition": "shift_right_60",
        "difference_in_change_pp": -0.33333333333333337,
        "p": 1.0,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "luna",
        "b": "clef",
        "condition": "shift_right_60",
        "difference_in_change_pp": 2.3333333333333335,
        "p": 0.3105046590790152,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "luna",
        "b": "d1",
        "condition": "shift_right_60",
        "difference_in_change_pp": -2.666666666666667,
        "p": 0.24298495403490963,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "luna",
        "b": "d1-ultra",
        "condition": "shift_right_60",
        "difference_in_change_pp": -1.6666666666666667,
        "p": 0.522397380496841,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "jev",
        "b": "clef",
        "condition": "shift_right_60",
        "difference_in_change_pp": 2.666666666666667,
        "p": 0.26876520505175,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "jev",
        "b": "d1",
        "condition": "shift_right_60",
        "difference_in_change_pp": -2.3333333333333335,
        "p": 0.31223103776574146,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "jev",
        "b": "d1-ultra",
        "condition": "shift_right_60",
        "difference_in_change_pp": -1.3333333333333335,
        "p": 0.6177193170296962,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "clef",
        "b": "d1",
        "condition": "shift_right_60",
        "difference_in_change_pp": -5.0,
        "p": 0.03539566535619091,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "clef",
        "b": "d1-ultra",
        "condition": "shift_right_60",
        "difference_in_change_pp": -4.0,
        "p": 0.11161375875235541,
        "p_holm": 1.0,
        "significant": false
      },
      {
        "kind": "between_models",
        "a": "d1",
        "b": "d1-ultra",
        "condition": "shift_right_60",
        "difference_in_change_pp": 1.0,
        "p": 0.7611986902484205,
        "p_holm": 1.0,
        "significant": false
      }
    ],
    "prompt_sha256": "12e2b2b58a973300a03c8c307366cefa37488dce365152bb2852d08115a5ea1b",
    "prompt_condition": "aid-definitions-v1",
    "dataset_version": "1000198078684663546",
    "significant_tests": [
      {
        "kind": "within_model",
        "model": "clef",
        "condition": "shift_left_60",
        "change_pp": -7.000000000000001,
        "p": 0.00010371580719947815,
        "p_holm": 0.009334422647953033,
        "significant": true
      }
    ],
    "total_cost": 1.59858131
  },
  "verification": {
    "luna": {
      "root_rows": 2100,
      "fresh_model_calls": 2100,
      "prompt_sha256": "12e2b2b58a973300a03c8c307366cefa37488dce365152bb2852d08115a5ea1b",
      "conditions": {
        "blur_1": 300,
        "shift_left_60": 300,
        "control": 300,
        "shift_right_60": 300,
        "contrast_1.5": 300,
        "blur_2": 300,
        "contrast_0.5": 300
      },
      "statuses": {
        "ok": 2099,
        "refusal": 1
      },
      "dataset_origins_verified": true,
      "scores_verified": true,
      "all_model_prompts_verified": true,
      "sample_remote_attachment_verified": true
    },
    "jev": {
      "root_rows": 2100,
      "fresh_model_calls": 2100,
      "prompt_sha256": "12e2b2b58a973300a03c8c307366cefa37488dce365152bb2852d08115a5ea1b",
      "conditions": {
        "blur_1": 300,
        "shift_left_60": 300,
        "control": 300,
        "shift_right_60": 300,
        "contrast_1.5": 300,
        "blur_2": 300,
        "contrast_0.5": 300
      },
      "statuses": {
        "ok": 2100
      },
      "dataset_origins_verified": true,
      "scores_verified": true,
      "all_model_prompts_verified": true,
      "sample_remote_attachment_verified": true
    },
    "clef": {
      "root_rows": 2100,
      "fresh_model_calls": 2100,
      "prompt_sha256": "12e2b2b58a973300a03c8c307366cefa37488dce365152bb2852d08115a5ea1b",
      "conditions": {
        "blur_1": 300,
        "shift_left_60": 300,
        "control": 300,
        "shift_right_60": 300,
        "contrast_1.5": 300,
        "blur_2": 300,
        "contrast_0.5": 300
      },
      "statuses": {
        "ok": 2100
      },
      "dataset_origins_verified": true,
      "scores_verified": true,
      "all_model_prompts_verified": true,
      "sample_remote_attachment_verified": true
    },
    "d1": {
      "root_rows": 2100,
      "fresh_model_calls": 2100,
      "prompt_sha256": "12e2b2b58a973300a03c8c307366cefa37488dce365152bb2852d08115a5ea1b",
      "conditions": {
        "blur_1": 300,
        "shift_left_60": 300,
        "control": 300,
        "shift_right_60": 300,
        "contrast_1.5": 300,
        "blur_2": 300,
        "contrast_0.5": 300
      },
      "statuses": {
        "ok": 2100
      },
      "dataset_origins_verified": true,
      "scores_verified": true,
      "all_model_prompts_verified": true,
      "sample_remote_attachment_verified": true
    },
    "d1-ultra": {
      "root_rows": 2100,
      "fresh_model_calls": 2100,
      "prompt_sha256": "12e2b2b58a973300a03c8c307366cefa37488dce365152bb2852d08115a5ea1b",
      "conditions": {
        "blur_1": 300,
        "shift_left_60": 300,
        "control": 300,
        "shift_right_60": 300,
        "contrast_1.5": 300,
        "blur_2": 300,
        "contrast_0.5": 300
      },
      "statuses": {
        "ok": 2100
      },
      "dataset_origins_verified": true,
      "scores_verified": true,
      "all_model_prompts_verified": true,
      "sample_remote_attachment_verified": true
    }
  }
}