多模态细胞模型需超越对齐的协同整合

Richter等研究团队在《Nature Machine Intelligence》发表研究，提出协同信息评分（SIS），以最优单模态模型为基准，量化多模态融合带来的额外任务相关信息。团队用肺纤维化、人体发育胸腺和乳腺癌三个空间转录组数据集（分别含71,307、44,880和126,764个空间匹配样本）评估了10种融合方法，结论是多模态细胞基础模型需要超越表示对齐的协同整合。 实验在冻结两个单模态基础模型、仅训练中间融合模块的条件下进行，以避免编码器变化干扰结果。研究指出，其谱上限主要针对冻结编码器及特定线性对齐条件，不意味着所有端到端训练的多模态模型都受同样限制；SIS依赖具体下游任务和探针能力，反映的是当前评价设置下可提取的额外信息，而非全部潜在生物学协同信息。

AI 根据报道生成 · 2 天前更新