前言

这是我看大佬讲语义分割前言记的笔记。如果对这块内容有需要，建议直接看他视频。

这是他B站主页，https://space.bilibili.com/18161609

前言

我总觉得，书本上说的是一回事，实际是另一回事。应实际看看优化器到底怎么算的，用矩阵运算把结果复现出来。

SGD

官方文档

随机梯度下降(Stochastic Gradient Descent)，这要强调和GD的区别。书本上的GD是遍历完所有的样本之后进行一次梯度下降，SGD是在得到一个样本后进行一次梯度下降，mini-batch是进行一定数量的样本之后才进行一次梯度下降。而我们实际使用的时候，输入到optimizer的本身就是根据一个batch的样本得到的梯度。因此，尽管代码中名为“SGD”，实际上执行效果是书本上的mini-batch方案。

Relu层

卷积层和全连接层这种有可训练参数的，可以求梯度。Relu层怎么办？

先说结论：Relu(x)，若x<=0，x的梯度为0，若x>0，梯度为x。

前言

上次从公式角度研究了转置卷积。这次想进一步从矩阵计算角度研究。内容基本上参考这位大神在B站讲解的转置卷积（transposed convolution），他在CSDN也有对应的博文转置卷积（Transposed Convolution）。强烈建议大家去看看B站的视频。我这里的图片都来源于这位大神。

ResNet的层数34,50,101到底指什么？

答案并不直接，得分两步来看。