ExponentialFamily简介 exponential function

Exponential Family是一类非常普遍的概率密度函数族,其最简单的形式如下所示:
事实上很多我们熟知的概率分布都属于ExponentialFamily,例如正态分布:
在ExponentialFamily中,函数A与T之间有着紧密的联系,事实上考虑Canonical的ExponentialFamily,即theta等于eta的时候,有下式成立:
事实上,在概率统计理论中,这里的T(x)是x的sufficientstatistics,一般意义上来说SufficientStatistics是指对于一个参数化的概率分布,E[T(x)]给出了关于参数theta的所有信息,即theta和x独立,conditionedon E[T(x)]。
由于T(x)是x的sufficientstatistics,所以我们只需要用到E[T(x)]的信息即可计算出theta,因此在MAPEstimation中我们只需用到T(x)的EmpiricalExpectation,这使得我们的需要存储的信息量大大减少。事实上,考虑概率密度函数:
我们计算它的log-likelihood:
对两端进行求导,令其等于0:
应用之前的结论,我们有:
ExponentialFamily简介 exponential function

在Bayesian setting中,我们需要考虑eta的priordistribution,并通过数据计算出eta的posterior distribution,一个distributionfamily的conjugate distribution是指对于某类概率密度函数,其prior若属于该conjugatedistribution,则posterior也属于同一类conjugate distribution。对于ExponentialFamily来说,若其概率密度函数如下所示:则其conjugate distribution如下所示:

  

爱华网本文地址 » http://www.aihuau.com/a/25101012/115866.html

更多阅读

《混沌之戒Ω》攻略:欧米伽人物简介+剧情解析

混沌之戒欧米伽,以下简称CRO,是混沌之戒Chaos Rings的前传。主人公为一代里的Olgar(奥加),此作的性质是一个前传类型的剧情补完,即便没有一代那样宏大的故事,但是这一作的剧情却依旧感人至深。《混沌之戒Ω》攻略:欧米伽人物简介+剧情解析

虫虫大作战简介加攻略 虫虫大作战修改器

虫虫大作战简介加攻略——简介虫虫大作战是一款即时战略塔防类单机游戏,类似于植物大战僵尸,但画面感更强。玩家要控制的是蚂蚁、蜜蜂、甲虫等其它昆虫,而且,此款游戏不仅有剧情模式,还有双人对战模式,可玩性还是挺高的。虫虫大作战简介

思科模拟器:2 入门之界面简介

思科模拟器:[2]入门之界面简介——简介思科模拟器是网络工程师经常使用的网络实验模拟软件,它可以很快捷的模拟网络中的各种设备(交换机、路由器、台式电脑、笔记本电脑、服务器、网络云),搭建各种网络环境,模拟网络拓扑结构等。下面天

驾照科目三考试要求简介 驾照科目一模拟考试

驾照科目三考试要求简介——简介大家都知道现在考驾照是越来越难了,考过一科就已经很是开心了,虽然大家说的科目三挺简单的,但是还要很多方面需要注意的,下面小编就告诉大家一些自己的经验吧驾照科目三考试要求简介——方法/步骤驾照科

股市K线理论简介 中国股市简介

股市K线理论简介——简介K线是一条柱状的线条,由影线和实体组成。影线的实体上方的部分叫上影线,下方的部分叫下影线;实体分阳线和阴线两种。通过K线图,我们能够把一定周期(日、周、月等)的市况变现完全记录下来。K线理论就是研究K线的形

声明:《ExponentialFamily简介 exponential function》为网友像早晨一样清白分享!如侵犯到您的合法权益请联系我们删除