最大熵原理
最大熵原理
最大熵原理(the maximum entropy principle)
2006年10月23日 星期一 19:59
热力学统计物理中有熵增加原理，在信息论中也有对应的关于信息熵的著名定理――最大信息熵原理。
在很多情况下，对一些随机事件，我们并不了解其概率分布，所掌握的只是与随机事件有关的一个或几个随机变量的平均值。例如，我们只知道一个班的学生 考试成绩有三个分数档：80分、90分、100分，且已知平均成绩为90分。显然在这种情况下，三种分数档的概率分布并不是唯一的。因为在下列已知条件限 制下
（平均成绩）
（概率归一化条件）
有无限多组解，该选哪一组解呢？即如何从这些相容的分布中挑选出“最佳的”、“最合理”的分布来呢？这个挑选标准就是最大信息熵原理。
按最大信息熵原理，我们从全部相容的分布中挑选这样的分布，它是在某些约束条件下（通常是给定的某些随机变量的平均值）使信息熵达到极大值的分布。这一原理是由杨乃斯提出的。这是因为信息熵取得极大值时对应的一组概率分布出现的概率占绝对优势。从理论上可以证明这一点。
在我们把熵看作是计量不确定程度的最合适的标尺时，我们就基本已经认可在给定约束下选择不确定程度最大的那种分布作为随机变量的分布。因为这种随机分布是最为随机的，是主观成分最少，把不确定的东西作最大估计的分布。 任何物质系统除了都受到或多或少的外部约束外，其内部总是具有一定的自由度，这种自由度导致系统内的各元素处于不同的状态。而状态的多样性，状态的 丰富程度（混乱程度、复杂程度）的定量计量标尺就是熵，熵最大就是事物状态的丰富程度自动达到最大值。换句话说，事物总是在约束下争取（或呈现）最大的自 由权，我们把这看作是自然界的根本原则。
在给定的约束条件下，由最大信息熵原理求“最佳”概率分布，就是求解条件极值问题。在某些场合，常用拉格朗日乘子法来确定此分布。
一般地，拉格朗日乘子法的法则可叙述如下：欲求n元函数f（x1，x2，…，xn）在m个约束条件
你可能喜欢
- 最大熵模型
- matlab图像分割
- 熵的计算
- 图像阈值分割
- SVM算法
- 信息论与编码论文
- 图像信息处理
- 基于复合特征模板下最大熵模型的产品属性挖掘研究11页
- 第五节最大熵模型5页
- 最大熵模型与自然语言处理MaxEnt Model150页
- 最大熵模型95页
- 常宝宝《自然语言处理的最大熵模型》5页
- 最大熵模型的语义句法分析在陪护机器人中的应用4页
- 小波模极大值边缘检测+膨胀+边缘跟踪+图像分割 matlab程序2页
- kmeans聚类图像分割 matlab2页
- matlab_图像分割算法源码33页
- 用matlab实现自适应图像阈值分割最大类方差法代码4页
- 图像分割技术的matlab实现10页
- matlab图像分割程序1页
- 03理想气体热力学能、焓、比热容和熵的计算26页
- 熵的计算7页
- 信息熵的计算及实现9页
- 4第二章3-熵的计算34页
- 理想气体热力学能焓比热容和熵的计算6页
- 图像熵的计算2页
- 基于VC++图像阈值分割与轮廓提取技术研究与实现9页
- PCB图像检测中阈值化分割的研究_李刚3页
- 基于阈值分割及分形特征的纸病图像识别算法研究5页
- 基于多阈值分割的图像区间均衡增强5页
- 图像的阈值化分割1页
- MATLAB数字图像处理 阈值分割与边缘检测3页
- 大样本情况下的一种新的SVM迭代算法3页
- Matlab的SVM算法进行线性和非线性分类实例_201311286页
- SVM的SMO算法实现16页
- 基于粒子群的SVM分类算法3页
- SVM训练算法综述9页
- 基于数据分割和集成学习的大规模SVM分类算法5页
- 信息论与编码论文8页
- 信息论与编码课程论文6页
- 信息论与编码_论文5页
- 信息论与编码技术课程论文20页
- 信息论与编码技术论文8页
- 《信息论与编码》课程论文5页
