一、信息论的诞生与发展1、奠基1948年香农香农在Bell Systerm Technical Journal 上发表的划时代论文《通信的数学理论》为了解决在噪声信道中有效传输信息的问题香农在这篇文章中创造性地采用了概率论的方法研究信息中的问题并且对信息给予了科学的定量描述第一次提出信息熵的概念。宣告了一门崭新的学科—信息论的诞生。2. 早期目标解决电报、电话通信里噪声干扰、信号传输的工程难题。3. 现代拓展信息论从诞生到现在虽然短短只有几十年的时间,但它的发展对学术界和人类社会影响非常广泛深刻如今信息论的研究内容不仅包括通信系统还包括所有与1信息有关的自然和社会领域。如识别模式计算机翻译心理学遗传学神经生理学语言学语义学甚至社会学中有关信息的问题。二、什么是信息信息与消息的区分1、信息信息是消息中包含的、能够消除随机事件不确定性的内容。信息是抽象内涵不是符号本身。信息应该是可以度量的这就引出了概率信息的概念。概率信息是香农提出来的故又称香农信息。2、消息消息是信息的载体是具体的物理表达形式。消息是看得见、听得见的符号序列文字、一句话、语音、图片、电报码、手势。3、信息与消息的关系信息包含在消息之中消息是信息的载体。三通信系统模型1、信源信息的来源称为信源可以是人机械或者其他事物。尽管信源是信息的来源但是信源并不直接输出信息信源输出的是信息的载体消息。如一段文字一幅图画一首歌和一段视频等。消息有各种不同的表现形式文字符号语言图片。图像音频和视频等都是在和信息的消息类型。消息能以通信双方信源和星宿都能理解的形式传递和交换消息携带信息是信息的载体信源输出的消息是随机的不确定的但又具有一定的统计规律因此随机变量或随机实验等数学模型表示信源。2、编译码编译码将消息变为符号或对应的符号序列目的是提高传输的有效性例如字符a,b.,c,d可以分别编码为010110111.3、调制器调制器负责将编码器输出的符号转化为适合信道传输的信号目的是提高传输效率使远距离传输变成可能例如0和1两个字符经过调制器后变化为两个电平信号如果要进行远距离传输还可以进行载波调制将电平信号转化为高频谐波。为了分析方便也可以将调制器看作编编码器的一部分。4、信道信道是信息传输的通道始于调制器终于调节器。它是包括收发设备在内的物理设施在狭义的通信系统中实际信道有架空明线电缆波导光缆和无线电波传输设备等。对于广义的通信系统信道还可以是其他类型的传播媒介通常情况下信道中存在噪声和干扰需要注意分析通信系统性能时往往只在信道中引入噪声和干扰这是为了方便而采用的一种等效分析方式系统中其他部分产生的噪声和干扰都等效成信道干扰并集中作用于信道。5、调节器调节器位于信息的接收端负责将信道输出信号转化为符号是调制器的逆变换。6、译码器译码器位于信息的接收端是编码器的逆转换。7、信宿信宿是信息的接收者及接收消息的人或物。