关于损失函数表达式的疑问

2019-11-01 07:35发布

问题:

想请教下:

  1. 线性回归模型的平方损失函数,其代数表达式,比较清楚:∑(f(x) -y)^2。 而用矩阵来表达却是:1/2 (Xθ -Y) ^T (Xθ -Y)。 ---搞不懂为什么这里会多了个转置。。
    2 . 对于交叉熵损失函数的表达式,为什么是 - ∑ y ln(f(x))呢?
    这个型式,是怎么确定下来的?--其几何意义不如平方损失函数直观,那又如何能确保该损失函数求得极值,拟合函数就可以取得较好的预测值呢?
  2. 再比如对数损失函数,指数损失函数,其表达式也和交叉熵损失函数一样,是如何确定下来的呢??

回答1:

1,这个问题你可以看看《线性代数及其应用》里面“最小二乘法”相关的部分,或者自己推导也可以,我推过,你看看:大叔学ML第二:线性回归

其它问题我就不知道了,我后来半途而废,没有再学习