什么是信息论

2026-05-30

作为广义的系统论中的一部分,信息论最初是一门比较实用的科学,它是在研究通讯过程中的信息传输问题上发展起来的。 信息论的创始人申农,是美国贝尔电话研究所的数学家。早在1940年,申农就开始研究通讯中的信息传递问题。当时的中心问题是信息源发出消息后,怎样通过信息传递渠道到达信息接收器的问题。围绕此问题,在1948年,申农发表了《通讯的数学基础》一文,它正式奠定了现代信息论的基础。 申农靠前次从理论上阐明了通讯的基本问题是信息传递问题,并提出了通讯系统的模型。他还创立了度量信息量的数学公式...

阅读更多

信息论的三个范畴

2026-05-29

对于信息论的研究,一般划分为三个不同的范畴: 狭义信息论,即通信的数学理论,主要研究狭义信息的度量方法,研究各种信源、信道的描述和信源、信道的编码定理。 实用信息论,研究信息传输和处理问题,也就是狭义信息论方法在调制解调、编码译码以及检测理论等领域的应用。 广义信息论,包括信息论在自然和社会中的新的应用,如模式识别、机器翻译、自学习自组织系统、心理学、生物学、经济学、社会学等一切与信息问题有关的领域...

阅读更多