A+

0x01卷积神经网络基础

卷积神经网络（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。

大佬写的真详细，CNN详解：
https://blog.csdn.net/qq_25762497/article/details/51052861
CNN神经网络层次分析：
https://blog.csdn.net/liulina603/article/details/44915905

二维互相关运算

二维互相关（cross-correlation）运算的输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组通常称为卷积核或过滤器（filter）。卷积核的尺寸通常小于输入数组，卷积核在输入数组上滑动，在每个位置上，卷积核与该位置处的输入子数组按元素相乘并求和，得到输出数组中相应位置的元素。图1展示了一个互相关运算的例子，阴影部分分别是输入的第一个计算区域、核数组以及对应的输出。

#用corr2d函数实现二维互相关运算，它接受输入数组X与核数组K，并输出数组Y
import torch.nn as nn
def corr2d(X, K):
    H, W = X.shape
    h, w = K.shape
    Y = torch.zeros(H - h + 1, W - w + 1)
    for i in range(Y.shape[0]):
        for j in range(Y.shape[1]):
            Y[i, j] = (X[i: i + h, j: j + w] * K).sum()
    return Y
#构造上图中的输入数组X、核数组K来验证二维互相关运算的输出
X = torch.tensor([[0, 1, 2], [3, 4, 5], [6, 7, 8]])
K = torch.tensor([[0, 1], [2, 3]])
Y = corr2d(X, K)
print(Y)
out：
tensor([[19., 25.],
        [37., 43.]])

错题积累：

0x02leNet

LeNet分为卷积层块和全连接层块两个部分。

CNN使用全连接层的局限性：

图像在同一列邻近的像素在这个向量中可能相距较远。它们构成的模式可能难以被模型识别。
对于大尺寸的输入图像，使用全连接层容易导致模型过大。

使用卷积层的优势：

卷积层保留输入形状。
卷积层通过滑动窗口将同一卷积核与不同位置的输入重复计算，从而避免参数尺寸过大

卷积层块里的基本单位是卷积层后接平均池化层：卷积层用来识别图像里的空间模式，如线条和物体局部，之后的平均池化层则用来降低卷积层对位置的敏感性。

卷积层块由两个这样的基本单位重复堆叠构成。在卷积层块中，每个卷积层都使用5×5的窗口，并在输出上使用sigmoid激活函数。第一个卷积层输出通道数为6，第二个卷积层输出通道数则增加到16。

全连接层块含3个全连接层。它们的输出个数分别是120、84和10，其中10为输出的类别个数。

通过Sequential类来实现LeNet模型：

#import
import sys
sys.path.append("D:/Python/PycharmWorkspace/input")
import torch
import torch.nn as nn
import torch.optim as optim
import time
#net
class Flatten(torch.nn.Module):  #展平操作
    def forward(self, x):
        return x.view(x.shape[0], -1)

class Reshape(torch.nn.Module): #将图像大小重定型
    def forward(self, x):
        return x.view(-1,1,28,28)      #(B x C x H x W)
    
net = torch.nn.Sequential(     #Lelet                                                  
    Reshape(),
    nn.Conv2d(in_channels=1, out_channels=6, kernel_size=5, padding=2), #b*1*28*28  =>b*6*28*28
    nn.Sigmoid(),                                                       
    nn.AvgPool2d(kernel_size=2, stride=2),                              #b*6*28*28  =>b*6*14*14
    nn.Conv2d(in_channels=6, out_channels=16, kernel_size=5),           #b*6*14*14  =>b*16*10*10
    nn.Sigmoid(),
    nn.AvgPool2d(kernel_size=2, stride=2),                              #b*16*10*10  => b*16*5*5
    Flatten(),                                                          #b*16*5*5   => b*400
    nn.Linear(in_features=16*5*5, out_features=120),
    nn.Sigmoid(),
    nn.Linear(120, 84),
    nn.Sigmoid(),
    nn.Linear(84, 10)
)

构造一个高和宽均为28的单通道数据样本，并逐层进行前向计算来查看每个层的输出形状 .

#print X = torch.randn(size=(1,1,28,28), dtype = torch.float32) for layer in net:     X = layer(X)     print(layer.__class__.__name__,'output shape: \t',X.shape)

out:
Reshape output shape:   torch.Size([1, 1, 28, 28]) Conv2d output shape:   torch.Size([1, 6, 28, 28]) Sigmoid output shape:   torch.Size([1, 6, 28, 28]) AvgPool2d output shape:   torch.Size([1, 6, 14, 14]) Conv2d output shape:   torch.Size([1, 16, 10, 10]) Sigmoid output shape:   torch.Size([1, 16, 10, 10]) AvgPool2d output shape:   torch.Size([1, 16, 5, 5]) Flatten output shape:   torch.Size([1, 400]) Linear output shape:   torch.Size([1, 120]) Sigmoid output shape:   torch.Size([1, 120]) Linear output shape:   torch.Size([1, 84]) Sigmoid output shape:   torch.Size([1, 84]) Linear output shape:   torch.Size([1, 10])

可以看到，在卷积层块中输入的高和宽在逐层减小。卷积层由于使用高和宽均为5的卷积核，从而将高和宽分别减小4，而池化层则将高和宽减半，但通道数则从1增加到16。全连接层则逐层减少输出个数，直到变成图像的类别数10。