培训损耗值一些训练时间后增加，但该模型检测对象还不错(Training loss value is

我遇到一个奇怪的问题，同时培训CNN从我自己的数据集检测对象。我使用的转移学习和在训练开始时，损耗值下降（如预期）。但一段时间后，它就会越来越高，我不知道为什么会发生。

同时，当我看着在Tensorboard 图像选项卡检查CNN的预测效果的对象，我可以看到，它确实非常好，它不看，因为它是随着时间的推移越来越差。此外，精确度和召回图表好看，只有损失的图表（特别是classification_loss）显示一段时间有增加的趋势。

下面是一些具体的细节：

我有10个不同种类的标志（如DHL，BMW，联邦快递等）的
大约每类600张图片
我用tensorflow-GPU在Ubuntu 18.04

我试过多次预训练的车型，最近一次是faster_rcnn_resnet101_coco这个配置管道：

 model { faster_rcnn { num_classes: 10 image_resizer { keep_aspect_ratio_resizer { min_dimension: 600 max_dimension: 1024 } } feature_extractor { type: 'faster_rcnn_resnet101' first_stage_features_stride: 16 } first_stage_anchor_generator { grid_anchor_generator { scales: [0.25, 0.5, 1.0, 2.0] aspect_ratios: [0.5, 1.0, 2.0] height_stride: 16 width_stride: 16 } } first_stage_box_predictor_conv_hyperparams { op: CONV regularizer { l2_regularizer { weight: 0.0 } } initializer { truncated_normal_initializer { stddev: 0.01 } } } first_stage_nms_score_threshold: 0.0 first_stage_nms_iou_threshold: 0.7 first_stage_max_proposals: 300 first_stage_localization_loss_weight: 2.0 first_stage_objectness_loss_weight: 1.0 initial_crop_size: 14 maxpool_kernel_size: 2 maxpool_stride: 2 second_stage_box_predictor { mask_rcnn_box_predictor { use_dropout: false dropout_keep_probability: 1.0 fc_hyperparams { op: FC regularizer { l2_regularizer { weight: 0.0 } } initializer { variance_scaling_initializer { factor: 1.0 uniform: true mode: FAN_AVG } } } } } second_stage_post_processing { batch_non_max_suppression { score_threshold: 0.0 iou_threshold: 0.6 max_detections_per_class: 100 max_total_detections: 300 } score_converter: SOFTMAX } second_stage_localization_loss_weight: 2.0 second_stage_classification_loss_weight: 1.0 } } train_config: { batch_size: 1 optimizer { momentum_optimizer: { learning_rate: { manual_step_learning_rate { initial_learning_rate: 0.0003 schedule { step: 900000 learning_rate: .00003 } schedule { step: 1200000 learning_rate: .000003 } } } momentum_optimizer_value: 0.9 } use_moving_average: false } gradient_clipping_by_norm: 10.0 fine_tune_checkpoint: "/home/franciszek/Pobrane/models-master/research/object_detection/logo_detection/models2/faster_rcnn_resnet101_coco/model.ckpt" from_detection_checkpoint: true data_augmentation_options { random_horizontal_flip { } } } train_input_reader: { tf_record_input_reader { input_path: "/home/franciszek/Pobrane/models-master/research/object_detection/logo_detection/data2/train.record" } label_map_path: "/home/franciszek/Pobrane/models-master/research/object_detection/logo_detection/data2/label_map.pbtxt" } eval_config: { num_examples: 8000 # Note: The below line limits the evaluation process to 10 evaluations. # Remove the below line to evaluate indefinitely. max_evals: 10 } eval_input_reader: { tf_record_input_reader { input_path: "/home/franciszek/Pobrane/models-master/research/object_detection/logo_detection/data2/test.record" } label_map_path: "/home/franciszek/Pobrane/models-master/research/object_detection/logo_detection/data2/label_map.pbtxt" shuffle: false num_readers: 1 }

在这里你可以看到结果，我为近23学时培训，并达到120K以上步骤后获得：

损失和全损
精确

所以，我的问题是，为什么是损耗值随时间提高？应该越来越小或保持或多或少的恒定，但你可以清楚地看到上面的图表增加的趋势。我认为一切都配置正确，我的数据集是相当不错的（也.tfrecord文件被正确地“建”）。

要检查它是否是我的错，我试图用别人的别人的数据集和配置文件。所以我用了浣熊数据集作者的文件（他提供所有必要的文件上他的回购）。我只是下载它们并没有修改开始训练，以检查是否我会得到类似的结果了他。

出人意料的是，经过82K步，我得到了比链接的文章（即经过了22K步骤拍摄）中所示的那些完全不同的图表。在这里你可以看到我们的结果的比较：

我的损失 VS 他的TotalLoss
我的精密 VS 他的地图

显然，一些不同的工作在我的电脑上。我怀疑这可能是为什么我得到我自己的数据集增加损失同样的原因，这就是为什么我提到它。

所述totalLoss是这四个其他损失的加权和。（RPN CLA和reg损失，BoxCla CLA和reg损失），他们都是评估损失 。在tensorboard您可以选中或取消选中要查看培训或只进行评估的评估结果。（例如，下面的PIC具有列车总结和评价总结）

如果评估损失正在增加，这可能意味着一个过拟合模型，此外，精度指标下降一点点。

为了尝试更好的微调的结果，您可以尝试调整的四场失利的权重，例如，你可能会增加体重BoxClassifierLoss/classification_loss让模型专注于这一指标更好。在你的配置文件，对于减肥second_stage_classification_loss_weight和first_stage_objectness_loss_weight均为1，而其他两个都是2，因此模型目前主要集中在其他两个多一点。

关于为什么一个额外的问题loss_1和loss_2是相同的。这可以通过看tensorflow图形来说明。