转载 矩阵求导公式转 矩阵迹的求导公式

原文地址:矩阵求导公式【转】作者:三寅今天推导公式,发现居然有对矩阵的求导,狂汗--完全不会。不过还好网上有人总结了。吼吼,赶紧搬过来收藏备份。

基本公式:
Y = A * X --> DY/DX = A'
Y = X * A --> DY/DX = A
Y = A' * X * B --> DY/DX = A * B'
Y = A' * X' * B --> DY/DX = B * A'

1. 矩阵Y对标量x求导:

相当于每个元素求导数后转置一下,注意M×N矩阵求导后变成N×M了

Y = [y(ij)] --> dY/dx = [dy(ji)/dx]

2. 标量y对列向量X求导:

注意与上面不同,这次括号内是求偏导,不转置,对N×1向量求导后还是N×1向量

y = f(x1,x2,..,xn) --> dy/dX =(Dy/Dx1,Dy/Dx2,..,Dy/Dxn)'

3. 行向量Y'对列向量X求导:

注意1×M向量对N×1向量求导后是N×M矩阵。

将Y的每一列对X求偏导,将各列构成一个矩阵。

重要结论:

dX'/dX = I

d(AX)'/dX = A'

4. 列向量Y对行向量X’求导:

转化为行向量Y’对列向量X的导数,然后转置。

注意M×1向量对1×N向量求导结果为M×N矩阵。

dY/dX' = (dY'/dX)'

5. 向量积对列向量X求导运算法则:

注意与标量求导有点不同。

d(UV')/dX = (dU/dX)V' + U(dV'/dX)

d(U'V)/dX = (dU'/dX)V + (dV'/dX)U'

重要结论:

d(X'A)/dX = (dX'/dX)A + (dA/dX)X' = IA + 0X' = A

d(AX)/dX' = (d(X'A')/dX)' = (A')' = A

d(X'AX)/dX = (dX'/dX)AX + (d(AX)'/dX)X = AX + A'X

6. 矩阵Y对列向量X求导:

将Y对X的每一个分量求偏导,构成一个超向量。

注意该向量的每一个元素都是一个矩阵。

7. 矩阵积对列向量求导法则:

d(uV)/dX = (du/dX)V + u(dV/dX)

d(UV)/dX = (dU/dX)V + U(dV/dX)

重要结论:

d(X'A)/dX = (dX'/dX)A + X'(dA/dX) = IA + X'0 = A

8. 标量y对矩阵X的导数:

类似标量y对列向量X的导数,

把y对每个X的元素求偏导,不用转置。

dy/dX = [ Dy/Dx(ij) ]

重要结论:

y = U'XV = ΣΣu(i)x(ij)v(j) 于是 dy/dX = [u(i)v(j)] = UV'

y = U'X'XU 则 dy/dX = 2XUU'

y = (XU-V)'(XU-V) 则 dy/dX = d(U'X'XU - 2V'XU + V'V)/dX = 2XUU' -2VU' + 0 = 2(XU-V)U'

9. 矩阵Y对矩阵X的导数:

将Y的每个元素对X求导,然后排在一起形成超级矩阵。

10.乘积的导数

d(f*g)/dx=(df'/dx)g+(dg/dx)f'

结论

d(x'Ax)=(d(x'')/dx)Ax+(d(Ax)/dx)(x'')=Ax+A'x(注意:''是表示两次转置)

比较详细点的如下:




[转载]矩阵求导公式【转】 矩阵迹的求导公式






http://lzh21cen.blog.163.com/blog/static/145880136201051113615571/

http://hi.baidu.com/wangwen926/blog/item/eb189bf6b0fb702b720eec94.html

其他参考:

Contents

Notation

Note that the Hermitian transpose is not used because complexconjugates are not analytic.

In the expressions below matrices andvectorsA,B,Cdonot depend onX.

Derivatives of Linear Products

  • d/dx(xTA)=A
  • d/dX(aTXb)=abT
  • d/dX(aTXTb)=baT
  • d/dx(YZ)=Y*d/dx(Z)+d/dx(Y)*Z
  • Derivatives of Quadratic Products

  • d/dx(Ax+b)T(Dx+e)=AT(Dx+e)+DT(Ax+b)
  • [C:symmetric]:d/dx(Ax+b)TC(Ax+b)= 2ATC(Ax+b)
  • d/dX(aTXTXb)=X(abT+baT)
  • d/dX(aTXTCXb)=CTXabT+CXbaT
  • d/dX((Xa+b)TC(Xa+b))=(C+CT)(Xa+b)aT
  • Derivatives of Cubic Products

    Derivatives of Inverses

    Derivative of Trace

    Note: matrix dimensions must result inann*nargument fortr().

  • d/dX(tr(ATXBT))=d/dX(tr(BXTA))=AB
  • d/dX(tr(AXBXT))=ATXBT+AXB
  • d/dX(tr(AXBX))=ATXTBT+BTXTAT
  • [C:symmetric]d/dX(tr((XTCX)-1A)=d/dX(tr(A(XTCX)-1)=-(CX(XTCX)-1)(A+AT)(XTCX)-1
  • [B,C:symmetric]d/dX(tr((XTCX)-1(XTBX))=d/dX(tr((XTBX)(XTCX)-1)=-2(CX(XTCX)-1)XTBX(XTCX)-1+2BX(XTCX)-1
  • Derivative of Determinant

    Note: matrix dimensions must result inann*nargument fordet().

  • d/dX(det(Xk))=k*det(Xk)*X-T
  • [Real]d/dX(det(XTCX))=det(XTCX)*(C+CT)X(XTCX)-1
  • [C:Real,Symmetricc]d/dX(ln(det(XTCX)))= 2CX(XTCX)-1
  • Jacobian

    Ifyis a functionofx,thendyT/dxisthe Jacobian matrixofywith respecttox.

    Its determinant,|dyT/dx|, istheJacobianofywithrespect toxandrepresents the ratio of thehyper-volumesdyanddx.The Jacobian occurs when changing variables in an integration:Integral(f(y)dy)=Integral(f(y(x))|dyT/dx|dx).

    Hessian matrix

    If f is a functionofxthen the symmetricmatrixd2f/dx2=d/dxT(df/dx)is theHessianmatrix off(x). A valueofxfor whichdf/dx=0correspondsto a minimum, maximum or saddle point according to whether theHessian is positive definite, negative definite or indefinite.

  • d2/dx2(Ax+b)T(Dx+e)=ATD+DTA
  • [C:symmetric]:d2/dx2(Ax+b)TC(Ax+b)= 2ATCA
  • http://www.psi.toronto.edu/matrix/calculus.html

    http://www.stanford.edu/~dattorro/matrixcalc.pdf

    http://www.colorado.edu/engineering/CAS/courses.d/IFEM.d/IFEM.AppD.d/IFEM.AppD.pdf

    http://www4.ncsu.edu/~pfackler/MatCalc.pdf

    http://center.uvt.nl/staff/magnus/wip12.pdf



      

    爱华网本文地址 » http://www.aihuau.com/a/25101014/221822.html

    更多阅读

    swf格式转flv格式的方法 swf转换flv格式

    swf格式转flv格式的方法——简介?swf格式可以转换成多种格式 ,其中flv格式作为各大网站通用的视频格式,当然也是可以转换的。用格式工厂就可以做到。swf格式转flv格式的方法——工具/原料?格式工厂swf格式转flv格式的方法——方法/

    转呼啦圈的坏处,转呼啦圈有坏处吗 女生转呼啦圈的坏处

    大家都知道转呼啦圈是一种很不错的运动减肥方式,而转呼啦圈的好处也有不是。但是你知道吗?转呼啦圈的坏处也是有的。对此,下面就来看看那些是转呼啦圈的坏处。转呼啦圈的坏处,转呼啦圈有坏处吗——转呼啦圈的坏处转呼啦圈的坏处,转呼啦

    转载 转载《一位星象学家对股市的震撼预测》 2017年股市预测

    原文地址:转载《一位星象学家对股市的震撼预测》作者:周易六壬观梅刚刚看到MACD论坛金融易学专版台湾刘镇老师1月21日发表的关于2015年大盘预测的帖子《星象预测:2015年8月全球股市大崩盘》,很有研究价值,验证以往的走势也十分精确,遂转帖

    转载 闹奶的有效揪痧治疗转帖tyuio888的美文 痧皇后揪痧的微博

    原文地址:闹奶的有效揪痧治疗(转帖tyuio888的美文)作者:几字弯这天,刚好我还有前院的二丫等在三大娘家里玩过家家,玩得正高兴,德嫂来了,只见她手捧着胸部,眉头紧锁着来了,前面她的婆婆拉着她,走进了三大娘的家门。“哎呀,她三大娘,快给咱德媳妇

    转帖 有意思的部队流行语 2016网络流行语

    [转帖]有意思的部队流行语新兵下连,老兵过年,新兵信多,老兵病多。新兵怕炮,老兵怕号。干的比驴还累. 吃的比猪还差. 睡的比小姐都晚.起的比鸡都早.名声比什么都好. 退伍了比谁都老没事扎根破腰带. 走路还要有人带. 吃饭的动作比狗快.

    声明:《转载 矩阵求导公式转 矩阵迹的求导公式》为网友念慈分享!如侵犯到您的合法权益请联系我们删除