ARTICLE DETAIL

资讯详情

深耕网站建设与运营推广的一线实战洞察。

Analysis of Image-and-Text Uncertainty Propagation in Multimodal Large Language Models with Cardi...

Analysis of Image-and-Text Uncertainty Propagation in Multimodal Large Language Models with Cardi... 文章主要内容总结本文聚焦多模态大型语言模型(MLLMs)中图像与文本的不确定性传播问题,尤其结合心脏磁共振(cardiac MR)相关临床应用展开研究。研究背景指出,MLLMs虽能整合文本、图像等多模态信息并在临床决策等任务中表现优异,但输入模态间的相互关系、单模态数据的不确定性及其在临床应用中的分解尚未被充分理解。为此,作者提出多模态不确定性传播模型(MUPM),旨在量化图像-only、文本-only及联合图像-文本输入的不确定性之间的关系,包括图像与文本输入的相关性。通过心脏MR扫描和数字健康记录等真实临床数据,研究表明:MUPM仅需少量样本即可稳健优化,且在不同输入数据分布和下游任务中具有可推广性(这可能源于MLLMs共享的预训练、较轻的微调及MUPM的低维特性)。此外,实验验证了MUPM的实用价值,包括高效估计整体不确定性、识别冗余因素等,为心脏疾病预测等临床应用提供了可靠的不确定性分析工具。文章创新点数学建模:推导出量化图像-only不确定性、文本-only不确定性、图像与文本的相关性及整体不确定性之间关系的数学表达式。模型拟合优化:通过拟合MUPM而非直接计算导数,解决了MLLMs复杂非线性结构导致的导数计算不稳定问题,提升了模型的稳定性和可推广性。临床应用拓展:提出MUPM在心脏疾病预测中的四个新应用,包括跨数据分布和任务的鲁棒性分析、高效估计整体不确定性、识别冗余因素等。实验验证
返回列表