能向我解释的人的成本函数和对数回归梯度下降公式之间的区别?(Can someone explain

2019-08-03 07:26发布

我经历的ML级上Coursera Logistic回归,也是曼宁图书机器学习在行动。 我试图用Python实现的一切学习。

我无法理解的成本函数和梯度之间的差异。 有在网络上的例子,人们计算成本函数再有,他们不和刚刚与梯度下降函数去的地方w :=w - (alpha) * (delta)w * f(w)

两者有什么,如果任何区别吗?

Answer 1:

成本函数是要最大限度地减少一些东西。 例如,你的成本函数可能是误差平方在你的训练集的总和。 梯度下降是寻找最小多个变量的函数的方法。 所以,你可以使用梯度下降,以尽量减少你的成本函数。 如果你的成本为K变量的函数,那么梯度是定义在其中成本最迅速增加的方向上的长度为K的矢量。 因此,在梯度下降,你按照梯度点的负哪里成本最低。 如果有人在谈论在机器学习环境梯度下降,成本函数可能是隐含的。(这是你所申请的梯度下降算法的功能)。



Answer 2:

当你训练的模型与您的数据,你实际上是生产用于特定功能的一些新的值(预测)。 然而,特定的功能已经有某些值在数据集中的实际值。 我们知道,预测值更接近其对应的真实价值,更好的模型。

现在,我们正在使用成本函数来衡量预测值有多接近其对应的实际值。

我们还应该考虑的是,训练模型的权重是负责准确预测新值。 想像一下,我们的模型为:y = 0.9 * X + 0.1,预测值是什么,但(0.9 * X + 0.1)不同的两个X。 [0.9和式0.1只是随机值理解。]

所以,通过考虑ÿ作为对应于该X真正价值,成本公式是来测量的接近程度(0.9 * X + 0.1)是Y.

我们负责寻找更好的重量(0.9和0.1)我们的模型拿出一个成本最低(或接近预测值以假乱真)。

梯度下降是一种优化算法(我们有一些其他的优化算法)和它的责任是发现在试图用不同的权重或确实模型,更新权过程中的最小成本值。

我们首先用一些初始权运行我们的模型和梯度下降的更新我们的权重,并找到我们在成千上万次迭代的那些权重模式的成本找到最低的成本。

有一点是梯度下降不减少的权重,它只是更新它们。 该算法寻找最低成本。



Answer 3:

成本函数的东西就像是在什么样的代价,你正在构建的模型,成本应该是最小的一个很好的模式。 为了找到我们使用梯度下降法最小成本函数。 系数,让值来确定最小成本函数



Answer 4:

对于最小化问题,我们必须降低成本的功能,所以梯度下降是一个算法来最小化。 梯度下降也被用来减少其他功能。 这是解决更一般的问题的算法。



文章来源: Can someone explain to me the difference between a cost function and the gradient descent equation in logistic regression?