pytorch网络训练越来越慢是什么原因？

pytorch训练网络的时候，同一个batch里数据训练时间逐渐变长是什么原因？分部分计算时间后，发现主要是loss.backward()部分的时间不断变长，从最开始的57ms到后来的184ms（还在不断上升），感觉永远训练不完了！

下图为部分代码：

下图为前几个batch的输出：

下图为后面一些batch的输出：

每个batch计算了参数量，发现并没有增加，增加batch_size后也只是总时间发生了变化，依旧越训练越慢，到底是什么原因啊？