发展历程

克劳德·香农

信息论是20世纪40年代后期从长期通讯实践中总结出来的一门学科，是专门研究信息的有效处理和可靠传输的一般规律的科学。

切略（E.C.Cherry）曾写过一篇早期信息理论史，他从石刻象形文字起，经过中世纪启蒙语言学，直到16世纪吉尔伯特（E.N.Gilbert）等人在电报学方面的工作。

20世纪20年代奈奎斯特（H.Nyquist）和哈特莱（L.V.R.Hartley）最早研究了通信系统传输信息的能力，并试图度量系统的信道容量。现代信息论开始出现。

1948年克劳德·香农（Claude Shannon）发表的论文“通信的数学理论”是世界上首次将通讯过程建立了数学模型的论文，这篇论文和1949年发表的另一篇论文一起奠定了现代信息论的基础。

由于现代通讯技术飞速发展和其他学科的交叉渗透，信息论的研究已经从香农当年仅限于通信系统的数学理论的狭义范围扩展开来，而成为现在称之为信息科学的庞大体系。

主要内容

传统的通信系统如电报、电话、邮递分别是传送电文信息、语声信息和文字信息的；而广播、遥测、遥感和遥控等系统也是传送各种信息的，只是信息类型不同，所以也属于信息系统。有时，信息必须进行双向传送，例如电话通信要求双向交谈，遥控系统要求传送控制用信息和反向的测量信息等。这类双向信息系统实际上是由两个信息系统构成。所有信息系统都可归纳成如图所示的模型来研究它的基本规律。

信源：信息的源泉或产生待传送的信息的实体，如电话系统中的讲话者，对于电信系统还应包括话筒，它输出的电信号作为含有信息的载体。

信宿：信息的归宿或接受者，在电话系统中这就是听者和耳机，后者把接收到的电信号转换成声音，供听者提取所需的信息。

信道：传送信息的通道，如电话通信中包括中继 器在内的同轴电缆系统，卫星通信中地球站的收发信机、天线和卫星上的转发器等。

编码器：在信息论中是泛指所有变换信号的设备，实际上就是终端机的发送部分。它包括从信源到信道的所有设备，如量化器、压缩编码器、调制器等，使信源输出的信号转换成适于信道传送的信号。

译码器：是编码器的逆变换设备，把信道上送来的信号转换成信宿能接受的信号，可包括解调器、译码器、数模转换器等。

当信源和信宿已给定、信道也已选定后，决定信息系统性能就在于编码器和译码器。设计一个信息系统时，除了选择信道和设计其附属设施外，主要工作也就是设计编译码器。一般情况下，信息系统的主要性能指标是它的有效性和可靠性。有效性就是在系统中传送尽可能多的信息；而可靠性是要求信宿收到的信息尽可能地与信源发出的信息一致，或者说失真尽可能小。最佳编译码器就是要使系统最有效和最可靠。但是，可靠性和有效性往往是相互矛盾的。越有效常导致不可靠，反之也是如此。从定量意义上说，应使系统在规定的失真或基本无失真的条件下，传送最大的信息率；或者在规定信息率的条件下，失真最小。计算这最大信息率并证明达到或接近这一值的编译码器是存在的，就是信息论的基本任务。只讨论这样问题的理论可称为仙农信息论般认为信息论的内容尚应更广泛一些，即包括提取信息和保证信息安全的理论。后者就是估计理论、检测理论和密码学。

信息论是建立在概率论基础上而形成的，也就是从信源符号和信道噪声的概率特性出发的。这类信息通常称为语法信息。其实，信息系统的基本规律也应包括语义信息和语用信息。语法信息是信源输出符号的构造或其客观特性所表现与信宿的主观要求无关，而语义则应考虑各符号的意义，同样一种意义，可用不同语言或文字来表示，各种语言所包含的语法信息可以是不同的。一般地说，语义信息率可小于语法信息率；电报的信息率可低于表达同一含义的语声的信息率就是一个例子。更进一步，信宿或信息的接受者往往只需要对他有用的信息，他听不懂的语言是有意义的，但对他是无用的。所以语用信息，即对信宿有用的信息一般又小于语义信息。倘若只要求信息系统传送语义信息或语用信息，效率显然会更高一些。在目前情况下，关于语法信息，已在概率论的基础上建立了系统化的理论，形成一个学科；而语义和语用信息尚不够成熟。因此，关于后者的论述通常称为信息科学或广义信息论，不属于一般信息论的范畴。概括起来，信息系统的基本规律应包括信息的度量、信源特性和信源编码、信道特性和信道编码、检测理论、估计理论以及密码学。

应用领域

范围

编码学