源码定律_简述离散信源连续信源的最大熵定理

⑴ 简述离散信源，连续信源的最大熵定理。

离散无记忆信源，等概率分布时熵最大。连续信源，峰值功率受限时，均匀分布的熵最大。平均功率受限时，高斯分布的熵最大。均值受限时，指数分布的熵最大。

最大熵原理是一种选择随机变量统计特性最符合客观情况的准则，也称为最大信息原理。随机量的概率分布是很难测定的，一般只能测得其各种均值（如数学期望、方差等）或已知某些限定条件下的值（如峰值、取值个数等），符合测得这些值的分布可有多种、以至无穷多种，通常，其中有一种分布的熵最大。

(1)源码定律扩展阅读

最大熵原理是在1957 年由E.T.Jaynes 提出的，其主要思想是，在只掌握关于未知分布的部分知识时，应该选取符合这些知识但熵值最大的概率分布。

因为在这种情况下，符合已知知识的概率分布可能不止一个。我们知道，熵定义的实际上是一个随机变量的不确定性，熵最大的时候，说明随机变量最不确定，换句话说，也就是随机变量最随机，对其行为做准确预测最困难。

从这个意义上讲，那么最大熵原理的实质就是，在已知部分知识的前提下，关于未知分布最合理的推断就是符合已知知识最不确定或最随机的推断，这是我们可以作出的不偏不倚的选择，任何其它的选择都意味着我们增加了其它的约束和假设，这些约束和假设根据我们掌握的信息无法作出。

热点内容

虚拟机建立用户的模板文件夹发布：2025-05-01 18:43:19 浏览：900

无锡代码编程培训班发布：2025-05-01 18:30:40 浏览：629

eps图形数据加密发布：2025-05-01 18:29:14 浏览：929

没有滴滴app怎么打车发布：2025-05-01 18:15:08 浏览：101

大数乘法java 发布：2025-05-01 18:14:58 浏览：1001

如何登录服务器看源码发布：2025-05-01 17:59:45 浏览：526

如何做服务器端发布：2025-05-01 17:59:08 浏览：157

注册服务器地址指什么发布：2025-05-01 17:41:10 浏览：434

文本命令行发布：2025-05-01 17:40:28 浏览：97

扑克牌睡眠解压发布：2025-05-01 17:32:35 浏览：195

rc4算法流程图发布：2025-05-01 17:29:04 浏览：160

胡萝卜解压方法发布：2025-05-01 17:17:25 浏览：37

扫描pdf格式软件发布：2025-05-01 17:12:46 浏览：878

程序员在银行开账户发布：2025-05-01 17:10:05 浏览：517

android数据库下载发布：2025-05-01 17:01:16 浏览：750

中午服务器崩溃怎么办发布：2025-05-01 17:01:13 浏览：425

产品经理和程序员待遇发布：2025-05-01 16:44:13 浏览：443

解忧程序员免费阅读发布：2025-05-01 16:41:38 浏览：110

录像免压缩发布：2025-05-01 16:23:39 浏览：509

总结所学过的简便算法发布：2025-05-01 16:17:10 浏览：363

源码定律