事实上很多我们熟知的概率分布都属于ExponentialFamily,例如正态分布:
在ExponentialFamily中,函数A与T之间有着紧密的联系,事实上考虑Canonical的ExponentialFamily,即theta等于eta的时候,有下式成立:
事实上,在概率统计理论中,这里的T(x)是x的sufficientstatistics,一般意义上来说SufficientStatistics是指对于一个参数化的概率分布,E[T(x)]给出了关于参数theta的所有信息,即theta和x独立,conditionedon E[T(x)]。
由于T(x)是x的sufficientstatistics,所以我们只需要用到E[T(x)]的信息即可计算出theta,因此在MAPEstimation中我们只需用到T(x)的EmpiricalExpectation,这使得我们的需要存储的信息量大大减少。事实上,考虑概率密度函数:
我们计算它的log-likelihood:
对两端进行求导,令其等于0:
应用之前的结论,我们有:

在Bayesian setting中,我们需要考虑eta的priordistribution,并通过数据计算出eta的posterior distribution,一个distributionfamily的conjugate distribution是指对于某类概率密度函数,其prior若属于该conjugatedistribution,则posterior也属于同一类conjugate distribution。对于ExponentialFamily来说,若其概率密度函数如下所示:则其conjugate distribution如下所示: