WSNet:基于权值采样的一种简洁高效的卷积神经网络架构

所属专题:人工智能与业务应用

嘉宾 : 徐宁 | Snapchat ResearchPrincipal Research Scientist

会议室 : 第二会议厅C

讲师介绍

专题演讲嘉宾:徐宁

Snapchat Research Principal Research Scientist

Dr. Ning Xu is currently a principal research scientist at Snap Research, co-chairing its Deep Learning Strategy Area. Prior to joining Snap Inc., he has been working with Dolby Laboratories, Inc. and Samsung Research America. Dr. Ning Xu obtained his Ph.D. degree in Electrical Engineering from the University of Illinois at Urbana-Champaign after he graduated from the University of Science and Technology of China. Dr. Ning Xu co-authored 90+ journal and conference papers, patents and patent applications. His research interest includes computer vision, deep learning and other related areas. He is a senior member of IEEE.

议题介绍

演讲:WSNet:基于权值采样的一种简洁高效的卷积神经网络架构

卷积神经网络日益增长的模型尺寸为深度学习在移动端的部署与应用带来了巨大的挑战。我们提出了一个新的简洁高效的基于权值采样的卷积神经网络架构-WSNet, 其中各卷积层和完全连接层的权值是从一个紧凑的参数集中采样得到,而非独立习得。在具体应用中,我们把基于权值采样的一维卷积神经网络应用在音频分类上。实验表明,新的网络架构不仅允许权值分享,而且允许计算共享。因此,我们可以学习更小,更高效的神经网络。对多个音频分类数据集的广泛实验验证了我们方法的有效性。结合加权量化,我们可以学习比基准网络小180倍的模型,而不会有明显的性能下降。

演讲提纲

  • 深度卷积神经网络简介
  • 相关工作回顾
    1. 高效网络架构
    2. 模型压缩
    3. 一维卷积网络应用实例
  • WSNet网络架构
  1. 空间以及channel的权值采样
  2. 高效的一维卷积计算
  3. 权值量化
  • 实验结果及讨论

听众受益

  • 了解不同的深度卷积网络架构
  • 了解深度学习的模型压缩
  • 深入了解最新的卷积神经网络架构研究成果

极客邦控股(北京)有限公司

北京市朝阳区望京利泽中二路洛娃大厦C座6层1607