关于模型训练的几个疑问

问题:

1. 模型训练前，需要确定损失函数，及是否需要正则化。这个一般情况下，是根据经验或是根据数据的实际情况来确定么？ 又或者是根据所选择的模型来选择？
2. 确定好策略后，模型训练结束的标准就是经验风险或结构风险是否最小化？ 那些所谓的其他参数，如决策树的深度、随机森林的树木数量、支持向量机的核函数、交叉验证等，又算是什么呢？目的也是为了达到上述风险的最小化么？
3. 所谓的梯度下降法、最小二乘法就是用来最小化经验风险和结构风险的吧？ 除了这两种方法，还有什么方法用来优化经验风险和结构风险呢？
4. 结构风险比经验风险多了个正则化项，作为标准评估上，应该比经验风险更好些。为什么经验风险应用貌似还是挺多的？

回答1:

我说说3，其余的我也不知道。梯度下降是用来求函数极值的，最小二乘法是用来求无解方程（当然，有解方程也可以用）的最佳近似解的。