新闻  |   论坛  |   博客  |   在线研讨会
卷积神经网络性能优化
数据派THU | 2022-03-13 09:04:45    阅读:360   发布文章

来源:AI蜗牛车、极市平台

作者丨黎明灰烬

来源|https://zhuanlan.zhihu.com/p/80361782


引言


卷积(Convolution)是神经网络的核心计算之一,它在计算机视觉方面的突破性进展引领了深度学习的热潮。卷积的变种丰富,计算复杂,神经网络运行时大部分时间都耗费在计算卷积,网络模型的发展在不断增加网络的深度,因此优化卷积计算就显得尤为重要。
随着技术的发展,研究人员提出了多种优化算法,包括 Im2col、Winograd 等等。本文首先定义卷积神经网络的概念,继而简要介绍几种常见的优化方法,并讨论作者在该领域的一些经验。


  • 大部分时间都耗费在计算卷积链接:https://arxiv.org/abs/1807.11164
  • Im2col 链接:https://www.mathworks.com/help/images/ref/im2col.html
  • Winograd 链接:https://www.intel.ai/winograd/#gs.avmb0n


卷积神经网络的概念


卷积神经网络(Convolution Neural Networks, CNN)的概念拓展自信号处理领域的卷积。信号处理的卷积定义为
图片 (1)
由于对称性图片 卷积计算在直觉上不易理解,其可视化后如图一所示。图中红色滑块在移动过程中与蓝色方块的积绘制成的三角图案即为卷积结果 (

*博客内容为网友个人发布,仅代表博主个人观点,如有侵权请联系工作人员删除。

参与讨论
登录后参与讨论
推荐文章
最近访客