Files
myWiki/concepts/precision-weighted-fusion.md

1.5 KiB
Raw Blame History

title, created, updated, type, tags, sources
title created updated type tags sources
精度加权融合 (Precision-Weighted Fusion) 2026-06-10 2026-06-10 concept
multimodal-learning
bayesian-deep-learning
fusion
principled-uncertainty-clinical-ai

精度加权融合 (Precision-Weighted Fusion)

精度加权融合principled-uncertainty-clinical-ai 提出的多模态贝叶斯融合机制,利用各模态潜空间方差的倒数作为精度权重进行分布组合。

核心机制

对于 M 个可用模态,每个编码器输出 (mu_m, log sigma^2_m)

步骤 1:计算各模态精度

Lambda_m = exp(-log sigma^2_m) = 1 / sigma^2_m

步骤 2:精度加权组合

Lambda_fused = sum_m Lambda_m
sigma^2_fused = 1 / Lambda_fused
mu_fused = (sum_m Lambda_m * mu_m) / Lambda_fused

缺失模态处理

缺失模态通过设置 log sigma^2 = 10.0 来处理:

  • Lambda ≈ 0精度近似为零
  • 该模态自动从融合中排除
  • 保留患者记录完整性

结果:融合不确定性始终 ≥ 最小单模态方差,随着缺失模态增多而正确增加。

直觉

高精度(低方差)的模态贡献更多权重——就像贝叶斯推断中精度加权的后验组合。这是卡尔曼滤波思想在多模态融合中的推广。

参考