第一章经典信息理论概要
量子信息学是 以量子力学为基础审视、改造经典信息理论建
立的，所 以在研究量子信息学之前，有必要简要介绍经典信息理
论。
信息的概念和信息度量
信息的概念
“信 息 ” )是今天应用最广泛、使用最频繁的词汇之
一 。经常听到人们谈论“信息时代 ”，“信息交流 ”，“经济信息 ”，“科
技信息 ”，“信息服务 ”，“信息量 ”等等 。这里人们使用 的多是信 息
的社会学概念 ，是和“消息 ” 混在一起 的。后面将看到在
信息论 中“信息 ”和“消息 ”有重要差别 。消息可 能包含有信息，也
可能完全不包含信息。
关于信息的概念，美国韦伯字典解释信息为 “用来通信的事
实，在观察中得到的数据和知识” 。英 国牛津字典解释说“信 息
是谈论 的事情、新 闻和知识 ” 。现代汉语字典关于信息的解释 比
较接近经典信息论 中的信息概念：信息是“用符号传送 的报道，报
道的内容是接收符号者预先不知道 的”。 这就是说信息是接收者
从报道 中获得 的新知识。当你收到一条报道，听到一条消息，如果
这条消息的内容是你事先已经知道的，你并没从中获得新知识，从
信息论观 点看可认为你收到 了消息，但没有得到信息。例如，当你
听了一段少数 民族语言广播，看了一段阿拉伯文字写的书，如果你
不懂这种少数 民族语言，不会阿拉伯文字，可 以认为你收到了消息
(前者是听到了声音，后者是看到了文字 )，但你没有获得任何新知
识，所 以你没有获得信息。就信息的本来意义讲，消息是否含有信
息不仅与消息本身有关，还与接收者的知识状况有关。
消息的内容是具体的，但作为概念和信息一样是抽象的。消
息本身并不能作用于人 的感官、引起感知，或在接收器 中产生可 以
测试的物理效应 。消息必须通过具体的物质形态表示出来。消息
可 以表现为语 言，写在纸上 的图、表、文字符号 ，在 空 间运动 的声
波、电磁波等。称表示消息的物质形式为信号( 信号是消
息的物化形式，消息则是信号表示的具体 内容。信号总是物理的，
是可 以被接收器接收作用于感官引起感知的东西 。由于这一原
因，也可 以把信号看成信源发生的一个物理事件(
撇开物理事件的具体形式，不同的物理事件又可赋给不同的符号
表示，所 以消息又可表示为一个或一 串符号。
我们之所以需要信息，是因为事物的发展往往存在多种可能
性(这里“事物 ”可 以理解为信源 。比如 电视屏幕上可能出现多种
可能的画面，在下一时刻出现什么画面是不确定的。如果事前已
知道 了下一个画面是什么，那就没必要再看下去 了)。每种可能性
都可看成不同的事件，究竟哪个事件发生是不确定的。比如我们
需要看天气预报 ，是因为 明天可能是刮风、下雨、下雪、晴天等多种
可能性，明天究竟发生哪种情况是不确定的。我们没有必要去关
心明天太阳会不会从东方升起，因为这里仅存在惟一可能性。信
息的重要性或价值就在于具有能消除对接收者来说某种事件发生
的不确定性。准确说来，信息就是指获得消息后消除掉的不确定
性 。
信息量
既然信息是指消息消除掉的不确定性 ，消息的信息量就是它
消除掉 的不确定性 的度量 。
硬币有正反两面，掷出的硬币落地后有正面向上、反面向上两
种可能性 。六个面上分别标有 六个字符 的正方体
骰子 ，掷出的骰子落地后哪个字符 向上有六种可能性 。两条消息
消息 ：骰子落地后 面 向上；
消息 ：硬 币落地后正面 向上 。
这两条消息包含的信息量显然不同，因为消息 消除了六种
可能性 的五种 ，而消息 只消除了两种可能性的一种 。自然的想法
是 比 包含更多的信息量。
不确定性在数学上是用事件发生的概率 ( )描述 的。
在上面 的例子 中， 消息描述的事件发生的概率是
