牛津团队提出统计检验替代胜率排名模型

牛津蛋白信息学组的 Sam Money-Kyrle 提出并演示了一套替代“胜率”的模型排名方法。胜率指模型在一组任务中排名第一的比例，该博客称这一常用指标会掩盖微小差距、缺乏统计检验，并隐藏模型在部分任务上的严重失败。 其做法是：在每个任务内，用重复交叉验证结果配合统计检验比较模型，例如 Tukey's HSD 等多重比较检验，或经 p 值校正的 Wilcoxon 符号秩检验等成对检验，并同时报告效应量（Tukey 用 Cohen's d，Wilcoxon 用秩双列相关）；随后跨任务对模型指标使用 Friedman 检验。 博客用模拟数据演示称，旧模型可靠地优于两个基线，而新模型尽管胜率达 80%、平均排名最低，在 Tukey p 值下仍无法与其他任何模型区分开。

AI 根据报道生成 · 8 天前更新