信息论与编码第一章绪论.ppt

信息论与编码,课程信息,教材及主要参考书：信息论基础教程第二版 李梅,李亦农 北京邮电大学出版社，2008年10月 信息论-基础理论与应用，傅祖芸 电子工业出版社，2001年8月考核：平时成绩 20（作业、考勤、实验）期末考试 80（闭卷）答疑：,实践性教学内容、要求及学时分配,实验一：信道容量的迭代算法 2 学时实验二：Huffman 编码 2 学时实验三：通信系统仿真 4 学时（备选题目：LZW压缩编码）,国外参考教材,T.M.Cover,Fundamental of Information Theory 最为流行的英文教材，为Stanford、MIT等学校的研究生课程选用 数学推导适中，强调概念，作为参考教材R.G.Gallager,Information Theory and Reliable Communication 数学推导较为艰深 作为提高教材,第一章：绪论,一、什么是信息,二、通信系统模型,三、信息论的研究内容,四、信息论的形成和发展,第一章：绪论,一、什么是信息,二、通信系统模型,三、信息论的研究内容,四、信息论的形成和发展,1.概述2.信息的通俗概念3.信息的狭义概念（香农信息）4.信息的广义概念,组成客观世界的三大基本要素：物质能量信息没有物质什么都不存在，没有能量什么都不会发生，没有信息什么都没有意义。美国学者欧廷格,研究内容,形成和发展,什么是信息,通信系统模型,第一章：绪论,1.概述,2.信息的通俗概念,信息的通俗概念：消息就是信息。,用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来，就称为消息。,研究内容,形成和发展,什么是信息,通信系统模型,第一章：绪论,消息中包含信息，消息是信息的载体。,2.信息的通俗概念（续1）,信号是表示消息的物理量，包括电信号、光信号等。信号中携带着消息，信号是消息的载体。,信息,信号,消息,研究内容,形成和发展,什么是信息,通信系统模型,第一章：绪论,3.信息的狭义概念（香农信息）,第一章：绪论,研究内容,形成和发展,什么是信息,通信系统模型,香农信息：信息是对事物运动状态或存在方式的不确定 性的描述。,通信的基本问题是在一点(信宿）精确或近似恢复另一点（信源）所选择的消息。香农,通信的过程就是消除不确定性的过程。,3.信息的狭义概念（香农信息）（续1）,第一章：绪论,例1：甲袋红、白球各50个，乙袋红、白、蓝、黑球各25个。比较从甲袋中取出一个球是红球的事件和从乙袋中取出一个球是红球的事件发生的难易程度，也就是事件发生的不确定性。,研究内容,形成和发展,什么是信息,通信系统模型,3.信息的狭义概念（香农信息）（续2）,第一章：绪论,例2：北京地区十月份可能出现的天气包括：晴、阴、雨、雪。比较天气预报为“晴”和天气预报为“雪”，给人们带来的信息量。,研究内容,形成和发展,什么是信息,通信系统模型,结论：不确定性的大小与事件发生的概率有关。,3.信息的狭义概念（香农信息）（续3）,第一章：绪论,研究内容,形成和发展,什么是信息,通信系统模型,不确定性的大小与事件发生的概率有关,因此，信息量可以表示为概率的函数。,不确定性是概率的函数,3.信息的狭义概念（香农信息）（续4）,信息与概率的关系：事件发生的概率越大，该事件包含的信息量越小；如果一个事件发生的概率为1，那么它包含的信息量为0；两个相互独立事件所提供的信息量应等于它们各自提供的信息量之和。,第一章：绪论,研究内容,形成和发展,什么是信息,通信系统模型,3.信息的狭义概念（香农信息）（续5）,某个消息的不确定性（含有的信息量）可以表示为：,第一章：绪论,研究内容,形成和发展,什么是信息,通信系统模型,信源的平均不确定性：,3.信息的狭义概念（香农信息）（续6）,第一章：绪论,香农信息的优点：有明确的数学表达式，定量化与人们直观理解的信息含义一致不考虑收信者主观感受的不同，认为同一消息对任何收信者，所得信息量相同。,研究内容,形成和发展,什么是信息,通信系统模型,3.信息的狭义概念（香农信息）（续7）,第一章：绪论,香农信息的局限：没有考虑收信者的主观特性和主观意义,研究内容,形成和发展,什么是信息,通信系统模型,4.信息的广义概念,研究内容,形成和发展,什么是信息,通信系统模型,信息是认识主体（人、生物、机器）所感受的和表达的事物运动的状态和运动状态变化的方式。语法信息语义信息语用信息,第一章：绪论,第一章：绪论,一、什么是信息,二、通信系统模型,三、信息论的研究内容,四、信息论的形成和发展,1.通信系统模型2.提高通信系统的性能指标的措施,1.通信系统模型,研究内容,形成和发展,什么是信息,通信系统模型,第一章：绪论,图1 通信系统模型,1.通信系统模型（续1）,信源编码器信道译码器信宿,第一章：绪论,研究内容,形成和发展,什么是信息,通信系统模型,1）信源,研究内容：信源发出的消息的统计特性离散信源、连续信源、波形信源有记忆信源和无记忆信源平稳信源和非平稳信源信源产生信息的速率 熵率,第一章：绪论,研究内容,形成和发展,什么是信息,通信系统模型,1.通信系统模型（续2）,2）编码器,编码器的功能：将消息变成适合信道传输的信号 编码器包括：信源编码器信道编码器调制器,第一章：绪论,研究内容,形成和发展,什么是信息,通信系统模型,1.通信系统模型（续3）,第一章：绪论,图2 编码器的组成,研究内容,形成和发展,什么是信息,通信系统模型,1.通信系统模型（续4）,信源编码器：去除信源消息中的冗余度，提高传输的有效性。,第一章：绪论,研究内容,形成和发展,什么是信息,通信系统模型,1.通信系统模型（续5）,信道编码器：将信源编码后的符号加上冗余符号，提高传输的可靠性。,第一章：绪论,研究内容,形成和发展,什么是信息,通信系统模型,图3 信道编码示例,1.通信系统模型（续6）,第一章：绪论,研究内容,形成和发展,什么是信息,通信系统模型,思考题：信源编码去除冗余度，信道编码却加上冗余度，为什么要这么做？,1.通信系统模型（续7）,调制器：功能：将信道编码后的符号变成适合信道传输的信号目的：提高传输效率,第一章：绪论,研究内容,形成和发展,什么是信息,通信系统模型,1.通信系统模型（续8）,3）信道,狭义信道广义信道,第一章：绪论,研究内容,形成和发展,什么是信息,通信系统模型,1.通信系统模型（续9）,研究内容：信道的统计特性无噪声信道、有噪声信道离散信道、连续信道、波形信道有记忆信道和无记忆信道恒参信道（平稳信道）和随参信道（非平稳信道）单用户信道和多用户信道信道传输信息的最高速率 信道容量,1.通信系统模型（续10）,第一章：绪论,研究内容,形成和发展,什么是信息,通信系统模型,4）译码器,译码器的功能：从接收到的信号中恢复消息。包括：解调器信道译码器信源译码器,第一章：绪论,研究内容,形成和发展,什么是信息,通信系统模型,1.通信系统模型（续11）,第一章：绪论,图4 译码器的组成,研究内容,形成和发展,什么是信息,通信系统模型,1.通信系统模型（续12）,5）信宿,信宿是消息传送的对象（人或机器）。香农信息论不研究信宿。,第一章：绪论,研究内容,形成和发展,什么是信息,通信系统模型,1.通信系统模型（续13）,第一章：绪论,提高有效性：（数据压缩）信源编码：无失真信源编码和限失真信源编码提高可靠性：（可靠传输）信道编码,2.提高通信系统性能指标的措施,研究内容,形成和发展,什么是信息,通信系统模型,第一章：绪论,一、什么是信息,二、通信系统模型,三、信息论的研究内容,四、信息论的形成和发展,1.信息论研究的主要问题2.什么是信息论3.信息论的应用,1.信息论研究的主要问题,第一章：绪论,通信系统模型,形成和发展,什么是信息,研究内容,狭义信息论：又称香农信息论。一般信息论：也叫工程信息论。广义信息论,1.信息论研究的主要问题（续1）,1）什么是信息？如何度量信息？,第一章：绪论,通信系统模型,形成和发展,什么是信息,研究内容,2）怎样确定信源输出信息的速率？,3）对于一个信道，它传输信息的最高速率（信道容量）是多少？,1.信息论研究的主要问题（续2）,4）无失真信源编码，所需要的最少码符号数是多少？,第一章：绪论,香农第一定理：如果编码后的信源序列的编码信息率不小于信源的熵，那么一定存在一种无失真信源编码方法；否则，不存在这样的一种无失真信源编码方法。,通信系统模型,形成和发展,什么是信息,研究内容,1.信息论研究的主要问题（续3）,5）在有噪声信道中，有没有可能实现几乎无差错的传输信息？,第一章：绪论,香农第二定理：如果信道的信息传输率小于信道容量，那么总可以找到一种编码方式，使得当编码序列足够长时传输差错任意小；否则，不存在使差错任意小的信道编码方式。,通信系统模型,形成和发展,什么是信息,研究内容,1.信息论研究的主要问题（续4）,6）如果信源编码时，允许一定的失真，那么信源编码所需要的最少码符号数又是多少？,第一章：绪论,香农第三定理：对于任意的失真度，只要码字足够长，那么总可以找到一种编码方法，使编码后的编码信息率，而码的平均失真度。,通信系统模型,形成和发展,什么是信息,研究内容,信息论是通信的数学基础，它以概率论为主要数学工具，详细研究了通信中的各个关键环节，以定理的形式给出了信源编码、信道编码的理论极限，为各种具体的通信技术提供了理论上的指导。信息论创立的标志:香农于1948年发表 的论文：A Mathematical Theory of Communication（通信的数学理论）,2.什么是信息论,通信系统模型,形成和发展,什么是信息,研究内容,第一章：绪论,2.什么是信息论（续1）,以概率论、随机过程为基本研究工具。,第一章：绪论,通信系统模型,形成和发展,什么是信息,研究内容,研究的是通信系统的整个过程，而不是单个环节，并以编、译码器为重点。,关心的是最优系统的性能和怎样达到这个性能（并不具体设计系统）。,要求信源为随机过程，不研究信宿。,信息论的特点,信息论帮助通信工程师从全局的观点观察和设计通信系统。信息论是从事信息通信系统研究和开发的必备的知识。香农信息论的目标是研究通信系统的信息传递，而不是帮助人们理解信息含义。香农信息论有它的局限性。,2.信息论的应用,第一章：绪论,通信系统模型,形成和发展,什么是信息,研究内容,2.信息论的应用（续1）,通信的基本问题是在一点精确地或近似地恢复另一点（信源）所选择的消息。通常，这些消息是有含义的，但是这些语义方面的问题与通信问题无关，而重要的方面是实际消息是从一个可能的消息集合中选择出的一条消息。香农,第一章：绪论,通信系统模型,形成和发展,什么是信息,研究内容,2.信息论的应用（续2）,信息论的应用举例语音信号压缩（G.711,GSM,Vocoder）计算机文件压缩模拟话路中数据传输速率的提高 其他（音频信号压缩 MP3、图象信号的压缩JPEG,MPEG等）,第一章：绪论,通信系统模型,形成和发展,什么是信息,研究内容,第一章：绪论,一、什么是信息,二、通信系统模型,三、信息论的研究内容,四、信息论的形成和发展,1.技术背景2.理论背景3.香农的主要工作,1.技术背景,当时通信理论与技术已有较大的发展，存在的通信技术包括：电报（Morse，1838）、电话（Bell，1876）、无线电报(Marconi,1887)、调幅广播（1900s 早期）、单边带调制（Carson，1922）、电视（1925-1927）、调频广播（Armstrong，1936）、脉冲编码调制（Reeves，1937-1939）、声码器（Dudley，1939）、扩频通信（1940s）等。,第一章：绪论,通信系统模型,研究内容,什么是信息,形成和发展,2.理论背景,1948年以前，Nyquist、Hartley、Wiener做了许多有影响的工作。,第一章：绪论,通信系统模型,研究内容,什么是信息,形成和发展,3.香农的主要工作,1948年，发表通信的数学理论。,第一章：绪论,1949年，发表噪声下的通信。,1959年，发表在保真度准则下的离散信源编码定理。,1961年，发表双路通信系统。,通信系统模型,研究内容,什么是信息,形成和发展,1956年，发表噪声信道的零差错容量。,大写字母等表示随机变量小写字母等表示随机变量的具体取值大写黑体字母 等表示多维随机变量，也就是随机矢量小写黑体字母 等表示随机矢量的具体取值,本课程约定的符号表示,