联合熵（Joint Entropy）是信息论中的一个重要概念，它衡量的是两个或多个随机变量作为一个整体的平均不确定性。
边缘熵（Marginal Entropy）是信息论中的一个概念，它指的是在多变量概率分布中，仅考虑单个随机变量时的熵值。
这编辑框不支持特殊数学符号，打字也困难，直接贴上书上的图片。
核心概念
简单来说，熵𝐻(𝑋)衡量单个随机变量 𝑋 的信息量或不确定性。联合熵 𝐻 (𝑋,𝑌) 则衡量同时观察到变量𝑋和变量 𝑌 的值所带来的总不确定性或平均信息量。
例如，如果你要预测一个人的身高（变量 X）和体重（变量 Y）：
- 预测身高有一定的不确定性 𝐻 ( 𝑋 )
- 预测体重有一定的不确定性 𝐻 ( 𝑌 )
- 同时预测身高和体重的组合（例如，“身高170cm且体重65kg”）的不确定性就是联合熵𝐻 (𝑋,𝑌)
总结
联合熵是衡量多个变量集体不确定性的度量，是理解和量化复杂数据关系的基础工具，在机器学习、自然语言处理和数据压缩等领域都有重要应用。
摘自：《信息论》