feizaipp Blog

Thinking will not overcome fear but action will.

深度学习之(十二)DenseNet 网络

我的博客 1. 概述 DenseNet 网络相比 ResNet 网络提出了更激进的稠密网络，即每一层都会与前面所有层在 channel 维度上进行拼接 (concat) 。而 ResNet 网络只在部分层进行维度上元素相加。 DenseNet 稠密网络结构如下图所示：上图中函数 H 代表非线性转化函数 (non-liear tra...

Posted by feizaipp on July 5, 2019

深度学习之(十一)ResNet 网络

我的博客 1. 概述随着深度学习的发展，越来越多的模型都采用更深的网络来训练自己的模型，那么模型网络层数越多真的就能训练出更好的模型吗？答案是否定的，何凯明等人在 ResNet 论文中提出，随着网络层数的加深，训练误差反而增加了，论文中叫做退化问题，论文中提出了残差块结构，将浅层的计算结果与深层的计算结果相加，解决了退化问题。同时随着网络层数的加深，还会导致梯度的爆...

Posted by feizaipp on July 4, 2019

深度学习之(十)GoogLeNet 网络

我的博客 1. 概述在 2014 年的 ImageNet 图像识别挑战赛中，一个名叫 GoogLeNet 的网络结构大放异彩。GoogLeNet 借鉴了 NiN 中网络串联网络的思想，并在此基础上做了很大改进。在随后的几年里，研究人员对 GoogLeNet 进行了数次改进，本节将介绍这个模型系列的第一个版本。 2. Inception 块 GoogL...

Posted by feizaipp on July 3, 2019

深度学习之(九)NiN 网络

我的博客 1. 概述 NiN 即网络中的网络(Network In Network)。前面几章介绍的 LeNet 、 AlexNet 和 VGG 在设计上都是先以由卷积层构成的模块充分抽取空间特征，再以由全连接层构成的模块来输出分类结果。其中， AlexNet 和 VGG 对 LeNet 的改进主要在于如何对这两个模块加宽（增加通道数）和加深。而本章的主角 NiN 网...

Posted by feizaipp on July 2, 2019

深度学习之(七)VGG 网络

我的博客 1. 概述 VGG 由 Visual Geometry Group 实验室开发。它提出了可以通过重复使用简单的基础块来构建深度模型的思路。 2. VGG 块 VGG 块的由连续使用数个相同的填充为 1 、窗口形状为 3×3 的卷积层后接上一个步幅为 2 、窗口形状为 2×2 的最大池化层。卷积层保持输入的高和宽不变，而池化层则对其减半。 3...

Posted by feizaipp on July 1, 2019

深度学习之(六)LeNet 网络

我的博客 1. 概述 LeNet 这个名字来源于 LeNet 论文的第一作者 Yann LeCun 。 LeNet 展示了通过梯度下降训练卷积神经网络可以达到手写数字识别在当时最先进的结果。这个奠基性的工作第一次将卷积神经网络推上舞台，为世人所知。 2. LeNet 模型 LeNet 分为卷积层块和全连接层块两个部分。下面我们分别介绍这两个模块。 ...

Posted by feizaipp on June 11, 2019

深度学习之(七)AlexNet 网络

我的博客 1. 概述 AlexNet 这个模型的名字来源于论文第一作者的姓名 Alex Krizhevsky 。 AlexNet 使用了 8 层卷积神经网络，并以很大的优势赢得了 ImageNet 2012 图像识别挑战赛。它首次证明了学习到的特征可以超越手工设计的特征，从而一举打破计算机视觉研究的前状。 2. AlexNet 模型 AlexNet与L...

Posted by feizaipp on June 11, 2019

深度学习之(五)卷积神经网络

我的博客 1. 二维卷积层卷积神经网络(convolutional neural network)是含有卷积层的神经网络。二维卷积层是卷积神经网络使用最常见的卷积神经网络，常用来处理图像数据。 1.1. 互相关运算虽然卷积层得名于卷积(convolution)运算，但我们通常在卷积层中使用更加直观的互相关(cross-correlation)运算。...

Posted by feizaipp on June 3, 2019

深度学习之(4)模型优化

我的博客 1. 概述当你改变试验中的模型结构或者超参数时，模型的在训练数据集上误差变小了，但它在测试数据集上确不一定减少误差。这就是本篇文章研究的内容。 2. 训练误差和泛化误差训练误差指模型在训练数据集上表现出的误差；泛化误差指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试是数据集上的误差来近似。计算上述两种误差可以使用损失函数，...

Posted by feizaipp on May 23, 2019

深度学习之(3)多层感知机

我的博客 1. 概述前两篇文章介绍的线性回归和 softmax 回归都是单层神经网络模型，但实际上深度学习更关注多层模型，尤其是卷积神经网络的出现。本篇文章以多层感知机 (multi-layer perception, MLP) 为例，介绍多层神经网络的概念。 2. 隐藏层多层感知机在单层神经网络的基础上引入了一到多个隐藏层 (hidden lay...

Posted by feizaipp on May 14, 2019