Oxford Protein Informatics Group · Blog· Sam Money-Kyrle·2026-10-31 00:08· 9 天前精选AI 评分58

别再用胜率：跨基准任务比较模型排名的统计方法

Stop using win rate: comparing model rankings across different benchmark tasks

AI 导读

牛津蛋白信息学组博客指出，化学信息学论文常用胜率（模型在任务中排名第一的比例）评估基准表现，但该指标会掩盖微小差距、缺乏统计检验，并隐藏模型在部分任务上的严重失败。

推荐理由

文章用模拟数据演示胜率指标如何掩盖模型弱点，并给出任务内与跨任务的统计比较替代流程。