{
  "artifact_bytes": 225448308,
  "corpus": "/Users/kearm/datasets/calibrated-code-embeddings/corpus-v2/test.jsonl",
  "corpus_sha256": "9ed10842a12132b6bfb5421df1e2f88dbcfbf6f6e960f36b22eb9ea6e3c72315",
  "drift": {
    "passage_mean_cosine_to_bf16": 0.7229037880897522,
    "passage_minimum_cosine_to_bf16": 0.576098620891571,
    "passage_mse_to_bf16": 0.0005412035388872027,
    "query_mean_cosine_to_bf16": 0.7227055430412292,
    "query_minimum_cosine_to_bf16": 0.5215013027191162,
    "query_mse_to_bf16": 0.000541590852662921,
    "retrieval_top_10_overlap_with_bf16": 0.11669764117226591
  },
  "input_limits": {
    "max_passage_chars": 4000,
    "max_query_chars": 1200,
    "passage_tokens": 2048,
    "query_tokens": 512
  },
  "language_counts": {
    "c": 95,
    "cpp": 750,
    "cuda": 1,
    "go": 750,
    "java": 750,
    "javascript": 750,
    "php": 750,
    "python": 750,
    "ruby": 750,
    "rust": 750,
    "shell": 6,
    "swift": 1,
    "toml": 129,
    "typescript": 750,
    "yaml": 13
  },
  "mlx_peak_memory_bytes": 1270683880,
  "model_path": "artifacts/LFM2.5-Encoder-230M-Code-MXFP4-RTN",
  "passage_seconds": 160.38185300002806,
  "passages_per_second": 43.61466007004406,
  "quantization": {
    "algorithm": "native_rtn",
    "bits": 4,
    "group_size": 32,
    "mode": "mxfp4"
  },
  "queries_per_second": 355.0055292241587,
  "query_seconds": 19.703918458078988,
  "samples": 6995,
  "schema_version": 1,
  "slices": {
    "all": {
      "mean_rank": 1484.5802716225876,
      "mrr": 0.08057347281227334,
      "ndcg_at_10": 0.08438046005123606,
      "recall_at_1": 0.060900643316654755,
      "recall_at_10": 0.1139385275196569,
      "recall_at_5": 0.09306647605432451
    },
    "c": {
      "mean_rank": 32.2,
      "mrr": 0.12861208351023115,
      "ndcg_at_10": 0.1493083169414057,
      "recall_at_1": 0.042105263157894736,
      "recall_at_10": 0.29473684210526313,
      "recall_at_5": 0.18947368421052632,
      "samples": 95
    },
    "cpp": {
      "mean_rank": 334.024,
      "mrr": 0.019243198083195565,
      "ndcg_at_10": 0.019281186793956538,
      "recall_at_1": 0.005333333333333333,
      "recall_at_10": 0.04,
      "recall_at_5": 0.024,
      "samples": 750
    },
    "cuda": {
      "mean_rank": 1.0,
      "mrr": 1.0,
      "ndcg_at_10": 1.0,
      "recall_at_1": 1.0,
      "recall_at_10": 1.0,
      "recall_at_5": 1.0,
      "samples": 1
    },
    "go": {
      "mean_rank": 74.19333333333333,
      "mrr": 0.24489272908640003,
      "ndcg_at_10": 0.2701325664495975,
      "recall_at_1": 0.15866666666666668,
      "recall_at_10": 0.39866666666666667,
      "recall_at_5": 0.3293333333333333,
      "samples": 750
    },
    "java": {
      "mean_rank": 245.536,
      "mrr": 0.043205286413557795,
      "ndcg_at_10": 0.04335405457442146,
      "recall_at_1": 0.021333333333333333,
      "recall_at_10": 0.07466666666666667,
      "recall_at_5": 0.050666666666666665,
      "samples": 750
    },
    "javascript": {
      "mean_rank": 218.704,
      "mrr": 0.06906967842710764,
      "ndcg_at_10": 0.07178401349101202,
      "recall_at_1": 0.037333333333333336,
      "recall_at_10": 0.11466666666666667,
      "recall_at_5": 0.084,
      "samples": 750
    },
    "php": {
      "mean_rank": 117.06,
      "mrr": 0.193071349082455,
      "ndcg_at_10": 0.21051304828894893,
      "recall_at_1": 0.128,
      "recall_at_10": 0.31333333333333335,
      "recall_at_5": 0.252,
      "samples": 750
    },
    "python": {
      "mean_rank": 62.678666666666665,
      "mrr": 0.443524430314319,
      "ndcg_at_10": 0.46238526415686776,
      "recall_at_1": 0.37866666666666665,
      "recall_at_10": 0.5533333333333333,
      "recall_at_5": 0.5093333333333333,
      "samples": 750
    },
    "ruby": {
      "mean_rank": 114.46666666666667,
      "mrr": 0.17296978653395437,
      "ndcg_at_10": 0.19416739355039028,
      "recall_at_1": 0.10533333333333333,
      "recall_at_10": 0.31333333333333335,
      "recall_at_5": 0.21866666666666668,
      "samples": 750
    },
    "rust": {
      "mean_rank": 267.5493333333333,
      "mrr": 0.04059034826873198,
      "ndcg_at_10": 0.04257322348679958,
      "recall_at_1": 0.014666666666666666,
      "recall_at_10": 0.084,
      "recall_at_5": 0.04666666666666667,
      "samples": 750
    },
    "shell": {
      "mean_rank": 2.8333333333333335,
      "mrr": 0.5416666666666666,
      "ndcg_at_10": 0.652968916458812,
      "recall_at_1": 0.3333333333333333,
      "recall_at_10": 1.0,
      "recall_at_5": 0.8333333333333334,
      "samples": 6
    },
    "swift": {
      "mean_rank": 1.0,
      "mrr": 1.0,
      "ndcg_at_10": 1.0,
      "recall_at_1": 1.0,
      "recall_at_10": 1.0,
      "recall_at_5": 1.0,
      "samples": 1
    },
    "toml": {
      "mean_rank": 67.03100775193798,
      "mrr": 0.04324591825376648,
      "ndcg_at_10": 0.0368136314932184,
      "recall_at_1": 0.007751937984496124,
      "recall_at_10": 0.07751937984496124,
      "recall_at_5": 0.046511627906976744,
      "samples": 129
    },
    "typescript": {
      "mean_rank": 299.96666666666664,
      "mrr": 0.019131624458843182,
      "ndcg_at_10": 0.01646895217901727,
      "recall_at_1": 0.0026666666666666666,
      "recall_at_10": 0.036,
      "recall_at_5": 0.02,
      "samples": 750
    },
    "yaml": {
      "mean_rank": 6.846153846153846,
      "mrr": 0.28949746834362217,
      "ndcg_at_10": 0.38322715588026884,
      "recall_at_1": 0.15384615384615385,
      "recall_at_10": 0.7692307692307693,
      "recall_at_5": 0.38461538461538464,
      "samples": 13
    }
  }
}