| { |
| "artifact_bytes": 225448308, |
| "corpus": "/Users/kearm/datasets/calibrated-code-embeddings/corpus-v2/test.jsonl", |
| "corpus_sha256": "9ed10842a12132b6bfb5421df1e2f88dbcfbf6f6e960f36b22eb9ea6e3c72315", |
| "drift": { |
| "passage_mean_cosine_to_bf16": 0.7229037880897522, |
| "passage_minimum_cosine_to_bf16": 0.576098620891571, |
| "passage_mse_to_bf16": 0.0005412035388872027, |
| "query_mean_cosine_to_bf16": 0.7227055430412292, |
| "query_minimum_cosine_to_bf16": 0.5215013027191162, |
| "query_mse_to_bf16": 0.000541590852662921, |
| "retrieval_top_10_overlap_with_bf16": 0.11669764117226591 |
| }, |
| "input_limits": { |
| "max_passage_chars": 4000, |
| "max_query_chars": 1200, |
| "passage_tokens": 2048, |
| "query_tokens": 512 |
| }, |
| "language_counts": { |
| "c": 95, |
| "cpp": 750, |
| "cuda": 1, |
| "go": 750, |
| "java": 750, |
| "javascript": 750, |
| "php": 750, |
| "python": 750, |
| "ruby": 750, |
| "rust": 750, |
| "shell": 6, |
| "swift": 1, |
| "toml": 129, |
| "typescript": 750, |
| "yaml": 13 |
| }, |
| "mlx_peak_memory_bytes": 1270683880, |
| "model_path": "artifacts/LFM2.5-Encoder-230M-Code-MXFP4-RTN", |
| "passage_seconds": 160.38185300002806, |
| "passages_per_second": 43.61466007004406, |
| "quantization": { |
| "algorithm": "native_rtn", |
| "bits": 4, |
| "group_size": 32, |
| "mode": "mxfp4" |
| }, |
| "queries_per_second": 355.0055292241587, |
| "query_seconds": 19.703918458078988, |
| "samples": 6995, |
| "schema_version": 1, |
| "slices": { |
| "all": { |
| "mean_rank": 1484.5802716225876, |
| "mrr": 0.08057347281227334, |
| "ndcg_at_10": 0.08438046005123606, |
| "recall_at_1": 0.060900643316654755, |
| "recall_at_10": 0.1139385275196569, |
| "recall_at_5": 0.09306647605432451 |
| }, |
| "c": { |
| "mean_rank": 32.2, |
| "mrr": 0.12861208351023115, |
| "ndcg_at_10": 0.1493083169414057, |
| "recall_at_1": 0.042105263157894736, |
| "recall_at_10": 0.29473684210526313, |
| "recall_at_5": 0.18947368421052632, |
| "samples": 95 |
| }, |
| "cpp": { |
| "mean_rank": 334.024, |
| "mrr": 0.019243198083195565, |
| "ndcg_at_10": 0.019281186793956538, |
| "recall_at_1": 0.005333333333333333, |
| "recall_at_10": 0.04, |
| "recall_at_5": 0.024, |
| "samples": 750 |
| }, |
| "cuda": { |
| "mean_rank": 1.0, |
| "mrr": 1.0, |
| "ndcg_at_10": 1.0, |
| "recall_at_1": 1.0, |
| "recall_at_10": 1.0, |
| "recall_at_5": 1.0, |
| "samples": 1 |
| }, |
| "go": { |
| "mean_rank": 74.19333333333333, |
| "mrr": 0.24489272908640003, |
| "ndcg_at_10": 0.2701325664495975, |
| "recall_at_1": 0.15866666666666668, |
| "recall_at_10": 0.39866666666666667, |
| "recall_at_5": 0.3293333333333333, |
| "samples": 750 |
| }, |
| "java": { |
| "mean_rank": 245.536, |
| "mrr": 0.043205286413557795, |
| "ndcg_at_10": 0.04335405457442146, |
| "recall_at_1": 0.021333333333333333, |
| "recall_at_10": 0.07466666666666667, |
| "recall_at_5": 0.050666666666666665, |
| "samples": 750 |
| }, |
| "javascript": { |
| "mean_rank": 218.704, |
| "mrr": 0.06906967842710764, |
| "ndcg_at_10": 0.07178401349101202, |
| "recall_at_1": 0.037333333333333336, |
| "recall_at_10": 0.11466666666666667, |
| "recall_at_5": 0.084, |
| "samples": 750 |
| }, |
| "php": { |
| "mean_rank": 117.06, |
| "mrr": 0.193071349082455, |
| "ndcg_at_10": 0.21051304828894893, |
| "recall_at_1": 0.128, |
| "recall_at_10": 0.31333333333333335, |
| "recall_at_5": 0.252, |
| "samples": 750 |
| }, |
| "python": { |
| "mean_rank": 62.678666666666665, |
| "mrr": 0.443524430314319, |
| "ndcg_at_10": 0.46238526415686776, |
| "recall_at_1": 0.37866666666666665, |
| "recall_at_10": 0.5533333333333333, |
| "recall_at_5": 0.5093333333333333, |
| "samples": 750 |
| }, |
| "ruby": { |
| "mean_rank": 114.46666666666667, |
| "mrr": 0.17296978653395437, |
| "ndcg_at_10": 0.19416739355039028, |
| "recall_at_1": 0.10533333333333333, |
| "recall_at_10": 0.31333333333333335, |
| "recall_at_5": 0.21866666666666668, |
| "samples": 750 |
| }, |
| "rust": { |
| "mean_rank": 267.5493333333333, |
| "mrr": 0.04059034826873198, |
| "ndcg_at_10": 0.04257322348679958, |
| "recall_at_1": 0.014666666666666666, |
| "recall_at_10": 0.084, |
| "recall_at_5": 0.04666666666666667, |
| "samples": 750 |
| }, |
| "shell": { |
| "mean_rank": 2.8333333333333335, |
| "mrr": 0.5416666666666666, |
| "ndcg_at_10": 0.652968916458812, |
| "recall_at_1": 0.3333333333333333, |
| "recall_at_10": 1.0, |
| "recall_at_5": 0.8333333333333334, |
| "samples": 6 |
| }, |
| "swift": { |
| "mean_rank": 1.0, |
| "mrr": 1.0, |
| "ndcg_at_10": 1.0, |
| "recall_at_1": 1.0, |
| "recall_at_10": 1.0, |
| "recall_at_5": 1.0, |
| "samples": 1 |
| }, |
| "toml": { |
| "mean_rank": 67.03100775193798, |
| "mrr": 0.04324591825376648, |
| "ndcg_at_10": 0.0368136314932184, |
| "recall_at_1": 0.007751937984496124, |
| "recall_at_10": 0.07751937984496124, |
| "recall_at_5": 0.046511627906976744, |
| "samples": 129 |
| }, |
| "typescript": { |
| "mean_rank": 299.96666666666664, |
| "mrr": 0.019131624458843182, |
| "ndcg_at_10": 0.01646895217901727, |
| "recall_at_1": 0.0026666666666666666, |
| "recall_at_10": 0.036, |
| "recall_at_5": 0.02, |
| "samples": 750 |
| }, |
| "yaml": { |
| "mean_rank": 6.846153846153846, |
| "mrr": 0.28949746834362217, |
| "ndcg_at_10": 0.38322715588026884, |
| "recall_at_1": 0.15384615384615385, |
| "recall_at_10": 0.7692307692307693, |
| "recall_at_5": 0.38461538461538464, |
| "samples": 13 |
| } |
| } |
| } |
|
|
