在线咨询:
负责人:
电话:
QQ号:
重大项目联系手机:
18648111418 (罗先生)
18648111418(宋先生)
邮箱:
传真:one two three four five six
热门标签
主页 > bet36365网站 > 估计MS最大概率的概率
估计MS最大概率的概率
发布日期:2019-11-06 17:53    浏览次数:     作者:365bet日博    
作为另一个示例,在GMM模型(以下示例)中,Y是所有观察点,z_i指示y_i来自哪个高斯分量,但这是未知的。
此问题需要一组参数才能最大化。
当寻求最大概率时,通常是最大对数:(1)
积分前一个方程式(和)的隐藏变量。
(2)在许多情况下,很难直接解决。
接下来,产生EM方法。在这一点上,我们希望最大化记录完整变量X的概率:假设使用这组模型参数,对模型参数进行了估算(矩0可以取随机初始值)您现在可以找到X的概率分布函数。
使用X的概率分布函数,可以编写期望函数,并将使期望函数最大化的值解析为更新的参数。
基于此更新,重复并重复X的概率分布。
流程如下:
步骤1:随机选择一个初始值
步骤2:计算指定的条件概率分布和观测变量Y
步骤3:需要在步骤4中将其最大化,但是X并不完全已知(因为存在隐藏变量),因此需要将期望值最大化,并且在步骤2中也要计算X的概率分布会的。
因此,我们现在需要做的是等待,也称为Q函数。
在这里,我们表示特定观察值y的x值的所有可能范围。
Step4解决方案
步骤5返回步骤2并重复。
为什么要输入Q函数并更新theta值?
因为它与最大化的最终目标有着微妙的关系(等式(1)):
定理1:
证明:在步骤4中,解决方案为argmax,因此它必须存在。
然后
其中,(3)到(4)是X =(Y,Z),y = T(x),并且T是特定的决策函数,因此确定并确定了x(但是,会话开始时的条目(4)不包含积分变量x,但可以直接引用积分的外部。
因此,每次重复执行E-M算法时目标值都不会降低。
但是,不能保证EM结果是全局最优的,并且有可能收敛到局部最优解。
因此,在实际使用中必须执行一些初始值测试。
示例:GMM高斯混合模型
假设独立于具有k个分量的高斯混合模型随机采样n个点,则估计所有高斯分量的参数。
例如,图(a)是k = 3的一维GMM。
高斯分布函数为
假设在第m次迭代中第i个点由第j个高斯分量产生的概率为:

由于每个点都是独立的,因此不难证明:
首先写每个:
忽略常数项并添加步骤E即可完成。
为了再次简化公式,
Q函数如下所示:
现在您已完成M步,您必须求解使Q函数最大化的参数。
最简单的方法是找到一个导数为零的值。
W先问。
由于w具有限制:
您可以使用拉格朗日乘数法。
用w删除不相关的元素并编写一个新的目标函数。
指南:
解决w很容易:
了解其他参数: