{
  "artifact_bytes": 306717818,
  "corpus": "/Users/kearm/datasets/calibrated-code-embeddings/corpus-v2/test.jsonl",
  "corpus_sha256": "9ed10842a12132b6bfb5421df1e2f88dbcfbf6f6e960f36b22eb9ea6e3c72315",
  "drift": {
    "passage_mean_cosine_to_bf16": 0.9728230834007263,
    "passage_minimum_cosine_to_bf16": 0.9302061796188354,
    "passage_mse_to_bf16": 5.3079857025295496e-05,
    "query_mean_cosine_to_bf16": 0.9674696922302246,
    "query_minimum_cosine_to_bf16": 0.8711244463920593,
    "query_mse_to_bf16": 6.353570643113926e-05,
    "retrieval_top_10_overlap_with_bf16": 0.7924660471765549
  },
  "input_limits": {
    "max_passage_chars": 4000,
    "max_query_chars": 1200,
    "passage_tokens": 2048,
    "query_tokens": 512
  },
  "language_counts": {
    "c": 95,
    "cpp": 750,
    "cuda": 1,
    "go": 750,
    "java": 750,
    "javascript": 750,
    "php": 750,
    "python": 750,
    "ruby": 750,
    "rust": 750,
    "shell": 6,
    "swift": 1,
    "toml": 129,
    "typescript": 750,
    "yaml": 13
  },
  "mlx_peak_memory_bytes": 1320441192,
  "model_path": "artifacts/LFM2.5-Encoder-230M-Code-MXFP8-RTN",
  "passage_seconds": 119.94889033399522,
  "passages_per_second": 58.3165044755526,
  "quantization": {
    "algorithm": "native_rtn",
    "bits": 8,
    "group_size": 32,
    "mode": "mxfp8"
  },
  "queries_per_second": 413.4218318652021,
  "query_seconds": 16.9197644169908,
  "samples": 6995,
  "schema_version": 1,
  "slices": {
    "all": {
      "mean_rank": 318.3835596854896,
      "mrr": 0.38777249690740534,
      "ndcg_at_10": 0.4138946491214988,
      "recall_at_1": 0.31622587562544674,
      "recall_at_10": 0.524517512508935,
      "recall_at_5": 0.46218727662616155
    },
    "c": {
      "mean_rank": 14.178947368421053,
      "mrr": 0.2480698884076622,
      "ndcg_at_10": 0.2903451775313697,
      "recall_at_1": 0.09473684210526316,
      "recall_at_10": 0.5052631578947369,
      "recall_at_5": 0.3684210526315789,
      "samples": 95
    },
    "cpp": {
      "mean_rank": 227.28666666666666,
      "mrr": 0.07960541958935241,
      "ndcg_at_10": 0.0827365096024097,
      "recall_at_1": 0.04533333333333334,
      "recall_at_10": 0.128,
      "recall_at_5": 0.10533333333333333,
      "samples": 750
    },
    "cuda": {
      "mean_rank": 1.0,
      "mrr": 1.0,
      "ndcg_at_10": 1.0,
      "recall_at_1": 1.0,
      "recall_at_10": 1.0,
      "recall_at_5": 1.0,
      "samples": 1
    },
    "go": {
      "mean_rank": 13.714666666666666,
      "mrr": 0.6451406130364074,
      "ndcg_at_10": 0.6749326945802773,
      "recall_at_1": 0.5613333333333334,
      "recall_at_10": 0.788,
      "recall_at_5": 0.7506666666666667,
      "samples": 750
    },
    "java": {
      "mean_rank": 34.62133333333333,
      "mrr": 0.44964059537644935,
      "ndcg_at_10": 0.4933172147389715,
      "recall_at_1": 0.3413333333333333,
      "recall_at_10": 0.6653333333333333,
      "recall_at_5": 0.5746666666666667,
      "samples": 750
    },
    "javascript": {
      "mean_rank": 59.48,
      "mrr": 0.4088492603300688,
      "ndcg_at_10": 0.44388413728633486,
      "recall_at_1": 0.316,
      "recall_at_10": 0.588,
      "recall_at_5": 0.5053333333333333,
      "samples": 750
    },
    "php": {
      "mean_rank": 15.325333333333333,
      "mrr": 0.6807263126231564,
      "ndcg_at_10": 0.7146804335855083,
      "recall_at_1": 0.5946666666666667,
      "recall_at_10": 0.84,
      "recall_at_5": 0.7866666666666666,
      "samples": 750
    },
    "python": {
      "mean_rank": 10.936,
      "mrr": 0.8322280649582166,
      "ndcg_at_10": 0.8464951736368361,
      "recall_at_1": 0.7906666666666666,
      "recall_at_10": 0.9013333333333333,
      "recall_at_5": 0.8773333333333333,
      "samples": 750
    },
    "ruby": {
      "mean_rank": 22.377333333333333,
      "mrr": 0.6006517712327437,
      "ndcg_at_10": 0.6391165334936353,
      "recall_at_1": 0.5,
      "recall_at_10": 0.784,
      "recall_at_5": 0.7186666666666667,
      "samples": 750
    },
    "rust": {
      "mean_rank": 60.69466666666667,
      "mrr": 0.33528446683412777,
      "ndcg_at_10": 0.37268698776794584,
      "recall_at_1": 0.23733333333333334,
      "recall_at_10": 0.532,
      "recall_at_5": 0.44133333333333336,
      "samples": 750
    },
    "shell": {
      "mean_rank": 1.5,
      "mrr": 0.75,
      "ndcg_at_10": 0.8154648767857289,
      "recall_at_1": 0.5,
      "recall_at_10": 1.0,
      "recall_at_5": 1.0,
      "samples": 6
    },
    "swift": {
      "mean_rank": 1.0,
      "mrr": 1.0,
      "ndcg_at_10": 1.0,
      "recall_at_1": 1.0,
      "recall_at_10": 1.0,
      "recall_at_5": 1.0,
      "samples": 1
    },
    "toml": {
      "mean_rank": 61.89147286821706,
      "mrr": 0.0459972775685366,
      "ndcg_at_10": 0.04114394751546567,
      "recall_at_1": 0.007751937984496124,
      "recall_at_10": 0.09302325581395349,
      "recall_at_5": 0.046511627906976744,
      "samples": 129
    },
    "typescript": {
      "mean_rank": 112.56666666666666,
      "mrr": 0.245858336730169,
      "ndcg_at_10": 0.27290253549492455,
      "recall_at_1": 0.17066666666666666,
      "recall_at_10": 0.4026666666666667,
      "recall_at_5": 0.316,
      "samples": 750
    },
    "yaml": {
      "mean_rank": 6.923076923076923,
      "mrr": 0.33501028885644274,
      "ndcg_at_10": 0.416197315076514,
      "recall_at_1": 0.23076923076923078,
      "recall_at_10": 0.7692307692307693,
      "recall_at_5": 0.3076923076923077,
      "samples": 13
    }
  }
}