信息论

在二十世纪，香四十年代引入的理论的基本概念。 信息论 - 传输，存储和检索的自然，技术和社会系统中的数据的过程的科学。 在科学领域，如计算机科学，语言学，密码学，控制理论，图像处理，遗传学，心理学，经济学，生产方式组织的许多应用中使用这门科学。

在具有信息论现代条件非常紧密地连接至编码理论，讨论了一种信号和信息，以及信号处理的理论之间的一致性的最常见的问题，其中，所述量化研究和恢复信号和光谱和 相关性分析 物。

信息理论认为的“信息”定量大部分，基本概念没有考虑到它的价值，有时毫无意义。 在这种方法中，文本的页面将包含大约一个数字符号和符号的确定相同的数据量，不依赖于一个事实，即，严格来说，有印刷，即使是穷极无聊和混沌集的一些符号。

这种方法是合理的，但只针对通信系统的仿真，因为它们具有精确地发送信息 的通信信道， 其可为任何组的字符和符号的。 然后，当有必要考虑到值和数据的含义，定量的方法是不可接受的。 这些情况对这一理论的可能的应用领域施加实质性的限制。

信息理论基础包括考虑各方面的问题，包括直接关系到数据的发送和接收。 主通信方案，这是在教学考虑如下。 信息论与编码 他认为，这些消息的来源，这是一个词或一组书面字母表中的某些字母的单词。 该消息的来源可以是文本到任何天然或人工语言，人类的语言，数据库和一些 数学模型， 创造的字母序列。 发射机中的消息转换成对应于通信信道的物理性质的信号 - 介质进行信号传输。 期间的这样的通道是受到干扰，这在信息参数的值引入失真。 接收器恢复从接收的失真信号的原始消息。 消息中的还原形式涉及到目的地 - 某个人或一个技术设备。

消息源在本质上是统计的，即，每个消息的外观由一定的概率来确定。 香农信息论认为，如果该消息的概率等于统一，那就是，他的出现显著和不确定性，不认为它不携带任何信息。

一个的信息理论的重要问题考虑消息源的通信信道和信息的属性的协调。 带宽 是每秒1个比特为单位来确定。

随着通信系统的一个问题是所希望的信号路径干扰。 香农，遗憾的是，并没有给我们具体的方法来处理这些。 因为它需要更多的时间成本是重复多次的消息，最简单的去除方法不是非常有效的信息传递。 效率高得多允许使用代码，使您能够检测和数据传输的纠正错误的。