炼数成金 门户 商业智能 深度学习 查看内容

深度学习中不同类型卷积的介绍

2018-4-9 10:09| 发布者: 炼数成金_小数| 查看: 18937| 评论: 0|原作者: chen_h|来自: coderpai

摘要: 让我们简要介绍一下不同类型的卷积以及它们的优点。为了简单起见,我们只关注二维卷积。卷积核大小(Kernel Size):卷积核定义了卷积的大小范围,二维卷积核最常见的就是 3*3 的卷积核。步长(Stride):步长定义了 ...

工具 深度学习 数学 商业智能 内核

让我们简要介绍一下不同类型的卷积以及它们的优点。为了简单起见,我们只关注二维卷积。


卷积首先我们需要定义一些卷积层的参数。

卷积核大小(Kernel Size):卷积核定义了卷积的大小范围,二维卷积核最常见的就是 3*3 的卷积核。
步长(Stride):步长定义了当卷积核在图像上面进行卷积操作的时候,每次卷积跨越的长度。在默认情况下,步长通常为 1,但我们也可以采用步长是 2 的下采样过程,类似于 MaxPooling 操作。
填充(Padding):填充定义了如何处理样本的边界。(半)填充卷积将保持输入空间和输出空间相等,如果卷积核的维度大于 1,那么如果不进行填充,最后输出图的尺寸会比输入图的小。
输入和输出管道(Input & Output Channels):卷积层采用一定数量的输入通道(I),并且设计特定数量的输出通道(O)。每一层所需的参数可以通过 I*O*K 来进行计算,其中 K 等于卷积核的数量。
扩张卷积(空洞卷积,Dilated Convolution,atrous convolutions)


扩张卷积是在卷积层中加入了另一个参数 —— 扩张率。这定义了卷积核中值与值之间的间距。扩张率为 2 的 33 的卷积核与 55 的卷积核具有相同的事业,而仅使用了 9 个参数。你可以想象一下,使用 5*5 的卷积核并且删除第二行,第四行,第二列和第四列的数据,那么就是我们所介绍的卷积核了。

这以相同的计算成本,但是提供了更广泛的视野。扩张卷积在实时分割领域是特别受欢迎的。如果你需要更大的视野,但是无法承受多个卷积核所带来的计算成本,那么你可以考虑使用这个。

反卷积(Transposed Convolutions,deconvolutions or fractionally strided convolutions)

一些别的文章中把这个操作称为解卷积(deconvolution),但这是不恰当的,因为这不是一个解卷积过程。更糟糕的是,解卷积过程却是真的。但是他们在深度学习领域并不常见。实际的解卷积将恢复卷积过程。想象一下,将图像输入到单个卷积图中。现在把输出结果拿出来,然后把它丢入一个黑盒子中,然后再次出来的图像就是原始图。这个黑盒子就是一个解卷积过程。这是卷积层所做的数学逆运算。

反卷积有点类似,因为它产生了假想的解卷积所能达到的相同的空间分辨率。但是,对这些值执行的实际数学运算是不同的。反卷积执行卷积,但恢复其空间变换。

此时,你可能有点困惑,所以我们来看一个具体的例子。我们把 55 的图像进行卷积,所采用的卷积核是 33,步长是 2,无填充。那么,最后我们将得到的结果是一个 2*2 的图像。


如果,我们想要逆转这个过程,我们需要反向进行数学运算,以便从我们输入的每个像素生成 9 个像素值。之后,我们用 2 的步长遍历这个输出图像。这就是一个解卷积过程。


反卷积不会这样做。共同的是它最后得到的是一个 5*5 的图像。为了是吸纳这个目的,我们需要再输入上执行一些奇怪的填充。

正如你现在想象的那样,这一步不会实现上面我们说的解卷积过程,至少不会涉及到数学计算。

它只是重建从前的空间并执行卷积,这可能不是数学上的逆转,但对于编码器 - 解码器架构,它仍然非常有用的。通过这种方式,我们可以将图像的放大和卷积相结合,而不是执行两个单独的过程。

可分离卷积(Separable Convolutions)
在一个可分离的卷积中,我们可以将卷积核分成多个步骤。我们将卷积表示为 y = conv(x, k) ,其中 y 是输出图像,x 是输入图像,k 是卷积核。简单的说,接下来,我们假设 k 可以通过这样来进行计算:k = k1.dot(k2)。这将使它成为了一个可以分离的卷积操作,因为不是用 k 进行的二维卷积,而是通过用 k1 和 k2 进行 2 次卷积得到相同的结果。


以 Sobel 内核为例,这在图像处理中经常使用。你可以通过乘以矢量 [1, 0, -1] 和 [1, 2, 1].T 得到相同的内核。在做同样的操作时,这将需要 6 个而不是 9 个参数。这个例子展示了我所知道的一种控件可分离卷积,它不用于深度学习。

欢迎加入本站公开兴趣群
商业智能与数据分析群
兴趣范围包括各种让数据产生价值的办法,实际应用案例分享与讨论,分析工具,ETL工具,数据仓库,数据挖掘工具,报表系统等全方位知识
QQ群:81035754

鲜花

握手

雷人

路过

鸡蛋

相关阅读

最新评论

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2018-9-22 04:13 , Processed in 0.149279 second(s), 24 queries .