跑一次完整 MTEB 评测要多久?答桉是:动辄几十个小时,成本高到让大多数开发团队只能靠"猜"来选嵌入模型。HAKARI-Bench 想解决的就是这个痛点——它把现有检索套件拆成极小的 Nano-sets,35 个基准、551 个任务、43 种语言,全部塞进统一格式,号称"轻量到能在笔记本上跑完"。这玩意儿的核心卖点不是替代全面评测,而是让你在五分钟内回答一个关键问题:"我手头这个模型换了个量化配置,到底是变好了还是变烂了?"
它支持五大检索家族在同一条件下正面刚——BM25、稠密检索、稀疏检索、晚交互、重排序——还能叠加各种效率变体(降维、量化、剪枝之类),一次性画出质量与效率的帕累托前沿。更关键的是相关系数:在 55 个模型上,HAKARI-Bench 的整体排名与 MTEB retrieval v2、MMTEB v2 retrieval 以及完整版 English BEIR 的 Spearman 相关系数全部高于 0.97。这意味着什么?意味着你拿这套小数据集筛出来的 Top 3,和你拿全量评测跑出来的 Top 3,基本是同一拨人。
对做 RAG 的工程团队来说,这种"快速迭代用 Nano-set,最终上线前再跑全套"的二段式评测策略相当实用。它覆盖了回归检测场景——CI 流水线里每次改嵌入配置就自动跑一遍,几分钟拿到信号;也覆盖了探索性场景——你想知道 bge-m3 量化到 INT4 损失多大、HNSW 参数调到多少性价比最高,这类问题以前要么靠经验拍脑袋,要么忍着跑半天评测,现在直接出数字。代码、数据和排行榜都按 MIT 许可证开源,对中小团队几乎零门槛。

