剑胆琴心

之前网上找了好多教程，导致我把无线网卡都卸载了….，然后发现这篇不错的文章，直接贴出这篇教程ubuntu安装cuda(这个真不踩坑的教程)：https://blog.csdn.net/weixin_43744613/article/details/124272020

文献地址：https://arxiv.org/pdf/1505.04597v1.pdf 简介&网络结构UNet是医学分割领域经典论文，其结构与字母U类似而得名，是一个Encoder-Decoder结构，可以看到下图，左侧是Encoder部分(下采样，特征提取,缩小图片尺寸)，右侧是Decoder部分(上采样,扩大图片尺寸)。说明几点先： 下采样过程中，特征图缩小的尺寸是上一层的一半；而在上采样过程中特征图变为上一层的一倍。通道数量变化相反 下采样的时候卷积层特征尺寸变化小，原论文使用max pooling进行尺度缩小；上采样也一样，使用upsampling+conv进行尺度增大。 然后，结构图中的灰色箭头(copy and crop)目的是将浅层特征与深层特征融合(其实就是使用cat进行拼接)，这样可以既保留浅层特征图中较高精度的特征信息，也可以利用深层特征图中抽象的语义信息。（左边的特征层(浅层特征)进行中心裁剪拼接到右边(深层特征)） 但是现在主流的实现方式并不是按照原论文实现的，而主流的实现方式是： 在3x3的卷积层加上一个padding(也就是每次经过这个 ...

ResNetResNet沿用了VGG全3×3卷积层的设计。残差块里首先有2个有相同输出通道数的3×3卷积层。每个卷积层后接一个批量归一化层和ReLU激活函数。然后我们将输入跳过这两个卷积运算后直接加在最后的ReLU激活函数前。这样的设计要求两个卷积层的输出与输入形状一样，从而可以相加。如果想改变通道数，就需要引入一个额外的1×1卷积层来将输入变换成需要的形状后再做相加运算。 残差块 论文中的图：1.恒等映射:上图中有一个曲线，称为shortcut connection(快捷连接），就是恒等映射。既不增加额外参数，也不增加计算复杂度。而恒等映射表示：输入=输出；2.图中F（x）的作用：图中F（x）执行卷积操作，目的是提取图片中的更多特征，或者是其它层没有学习的特征； 理解： 残差网络提出的目的就是为了减少梯度消失，更多的提取特征。假设我们输出目标是H(x),通过上图操作，实际输出是F（x）+x，因此F（x）=H(x)-x就是我们的目标残差。换个角度思考，假设网络模型优化的很好，通过卷积和池化已经提取不了特征，那么网络中F（x）=0，则残差块输入等于输出，这时候就变成恒等映射。很多利 ...

一般论文的结构： 1.title 2.abstract 3.introduction 4.method 5.exp 6.conclusuin 三遍读论文： 部分 第一遍 第二遍 第三遍 1.title 1.标题：看一下是否与自己相关 对文章整个过一遍，知道每一块在干什么东西。沿着标题读到最后：公式和细节可以忽略；主要是图和表要看明白 最详细的一遍。关键：要知道每句话和每段话在做什么 ，能够从大脑中脑补他的过程，就好像自己做了一遍一样 2.abstract 2.摘要：看一眼摘要–论文在做什么 3.introduction 相关问题圈出来，比如”我们在做某个问题,是xxx之前提出了来的，是在xxx的方法上改进的”，发现其中的文献没读过的可以圈出来 4.method 4.也可以瞄一下方法里面的图和表看看他在干什么 比如方法中的流程图、算法的图长什么样子 5.experiments 4.可以看一眼实验部分的图和表 比如实验里面的图的x轴y轴和点是什么意思，作者提出的方法和别人的方法是怎么对比的以及差距有多大 在脑子里面不断重复(比如” ...

2014年提出GoogLeNet吸收了NiN中网络串联网络的思想，并在此基础上做了很大改进。在随后的几年里，研究人员对GoogLeNet进行了数次改进，这里将介绍这个模型系列的第一个版本。 Inception块GoogLeNet中的基础卷积块叫作Inception块4个路径从不同层面抽取信息，然后再输出通道维合并 提供了4条路径（四种方法），输入输出等同高宽，然后作为不同的通道叠加 每个路径输出的通道数，可以自己来决定，相当于通过通道数来给每个路径分配权重 至于为什么给每个通道分配这些数量，玄学吧？反正作者没解释过 inception块相比3X3和5x5卷积层有更少的参数和计算复杂度 跟单3x3或5x5卷积层相比，Inception块有更少的参数个数和计算复杂度 Inception后续有很多变种 Inception块： import torchfrom torch import nnfrom torch.nn import functional as Ffrom d2l import d2ltorch as d2lclass Inception(nn.Module): ...

前几节介绍的LeNet、AlexNet和VGG在设计上的共同之处是：先以由卷积层构成的模块充分抽取空间特征，再以由全连接层构成的模块来输出分类结果。NiN提出了另外一个思路，即串联多个由卷积层和“全连接”层(NiN使用1×11×1卷积层来替代全连接层，从而使空间信息能够自然传递到后面的层中去)构成的小网络来构建一个深层网络 NiN是在AlexNet问世不久后提出的 NiN块是NiN中的基础块。它的架构： 无全连接层 交替使用一个卷积层加两个充当全连接层的1×1卷积层串联而成。其中第一个卷积层的超参数可以自行设置，而第二和第三个卷积层的超参数一般是固定的。 除使用NiN块以外，NiN还有一个设计与AlexNet显著不同：NiN去掉了AlexNet最后的3个全连接层(全连接层耗时且容易过拟合)，取而代之地，NiN使用了输出通道数等于标签类别数的NiN块，然后使用全局平均池化层对每个通道中所有元素求平均并直接用于分类 https://zhuanlan.zhihu.com/p/47391705 import torchfrom torch import nnfrom d2l imp ...

VGG:更大更深、VGG块 VGG块的组成规律是：连续重复使用数个相同的 填充为1、窗口形状为3×3的卷积层后(33卷积比55卷积好) 接上一个步幅为2、窗口形状为2×2的最大池化层。卷积层保持输入的高和宽不变，而池化层则对其减半 VGG架构： import timeimport torchfrom torch import nn, optimdef vgg_block(num_convs,in_channels,out_channels): """定义vgg块 Args: num_convs (int): 需要卷积层数量 in_channels (int): 输入通道数 out_channels (int): 输出通道数 """ layers = [] for _ in range(num_convs): layers.append( nn.Conv2d(in_channels,out_channels,kernel_size=3,padding=1) ) ...

前言接下来一次介绍现代卷积神经网络的架构： AlexNet。它是第一个在大规模视觉竞赛中击败传统计算机视觉模型的大型神经网络； 使用重复块的网络（VGG）。它利用许多重复的神经网络块； 网络中的网络（NiN）。它重复使用由卷积层和卷积层（用来代替全连接层）来构建深层网络; 含并行连结的网络（GoogLeNet）。它使用并行连结的网络，通过不同窗口大小的卷积层和最大汇聚层来并行抽取信息； 残差网络（ResNet）。它通过残差块构建跨层的数据通道，是计算机视觉中最流行的体系架构； 稠密连接网络（DenseNet）。它的计算成本很高，但给我们带来了更好的效果 LeNet在LeNet提出后的将近20年里，神经网络一度被其他机器学习方法超越，如支持向量机.LeNet可以在早期的小数据集上取得好的成绩，但是在更大的真实数据集上的表现并不尽如人意. 一节看到，神经网络可以直接基于图像的原始像素进行分类。这种称为端到端（end-to-end）的方法节省了很多中间步骤。这类图像分类研究的主要流程是： 获取图像数据集； 使用已有的特征提取函数生成图像的特征； 使用机器学习模型对图像的特 ...

LeNet1989年提出的 是早期成功的神经网络 先使用卷积层来学习图片空间信息 然后使用全连接层转换到类别空间 LeNet交替使用卷积层和最大池化层后接全连接层来进行图像分类。 LeNet分为卷积层块和全连接层快两部分：卷积层块里的基本单位是卷积层后接最大池化层：卷积层用来识别图像里的空间模式，如线条和物体局部，之后的最大池化层则用来降低卷积层对位置的敏感性。卷积层块由两个这样的基本单位重复堆叠构成。卷积层块的输出形状为(批量大小, 通道, 高, 宽)。当卷积层块的输出传入全连接层块时，全连接层块会将小批量中每个样本变平（flatten）。也就是说，全连接层的输入形状将变成二维，其中第一维是小批量中的样本，第二维是每个样本变平后的向量表示，且向量长度为通道、高和宽的乘积。全连接层块含3个全连接层。它们的输出个数分别是120、84和10，其中10为输出的类别个数。 其中形状是第一列输入的image的形状大小进行计算的 网络实现： import torchfrom torch import nnfrom d2l import d2ltorch as d2lclass Res ...

Batch是大小 epoch是数量 BatchBatch大小是一个超参数，用于定义在更新内部模型参数之前要处理的样本数。将批处理视为循环迭代一个或多个样本并进行预测。在批处理结束时，将预测与预期输出变量进行比较，并计算误差。从该错误中，更新算法用于改进模型，例如沿误差梯度向下移动。训练数据集可以分为一个或多个Batch。当所有训练样本用于创建一个Batch时，学习算法称为批量梯度下降。当批量是一个样本的大小时，学习算法称为随机梯度下降。当批量大小超过一个样本且小于训练数据集的大小时，学习算法称为小批量梯度下降。 在小批量梯度下降的情况下，流行的批量大小包括32,64和128个样本。 EpochEpoch数是一个超参数，它定义了学习算法在整个训练数据集中的工作次数。一个Epoch意味着训练数据集中的每个样本都有机会更新内部模型参数。Epoch由一个或多个Batch组成。例如，如上所述，具有一批的Epoch称为批量梯度下降学习算法。您可以将for循环放在每个需要遍历训练数据集的epoch上，在这个for循环中是另一个嵌套的for循环，它遍历每批样本，其中一个批次具有指定的“批量大小 ...