1. 安徽理工大学电气与信息工程学院
2. 安徽理工大学省部共建深部煤矿采动响应与灾害防控国家重点实验室
纸质出版:2022
移动端阅览
贾晓芬, 王景泰, 郭永存, 等. 跨信道注意力权重最大区域掩盖的正则化方法[J]. 西安交通大学学报, 2022,(3):45-53.
针对Dropout的流动性和随机性可能引起欠拟合或过拟合的问题,提出跨信道计算注意力权重并掩盖注意力权重最大区域的正则化方法(MARDrop)。设计跨信道注意力权重提取机制,提取所有特征图的注意力权重,并筛选出注意力权重较大的部分作为特征判别单元;根据特征判别单元周围区域的注意力权重变化确定出注意力权重最大区域,并将其掩盖即对应区域置为0
其余区域均置为1;将取值为1的注意力权重区域还原为特征图,完成正则化处理。实验表明:MARDrop具有较强的灵活性,结合不同优化方法用于Model2模型后,在CIFAR-10上的分类精度比基础模型提高了19.55%;MARDrop具有较强的泛化能力,能灵活用于不同模型,用于VGG16和ResNet18模型后,在CIFAR-10上的分类错误率比基础模型分别降低了10.05%和9.96%
用于MoblieNetV3S和MoblieNetV3L后,在ImageNet-C9上的分类错误率比基础模型分别降低了14.67%和96.90%。MARDrop利用一维卷积跨信道交互计算注意力权重,能有效降低提取的复杂度;MARDrop通过准确掩盖造成过拟合的特征区域,降低了模型对少数特征的依赖性,进而增加了图像分类的准确率。
Mingming Yang,Tinghuai Ma,Qing Tian,Yuan Tian,Abdullah Al-Dhelaan,Mohammed Al-Dhelaan.Aggregated squeeze-and-excitation transformations for densely connected convolutional networks[J].The Visual Computer,2021.
Zhang Xiangyu,Li Jianqing,Cai Zhipeng,Zhang Li,Chen Zhenghua,Liu Chengyu.Over-fitting suppression training strategies for deep learning-based atrial fibrillation detection.[J].Medical & biological engineering & computing,2021.
Wang Haojun,Long Haixia,Wang Ailan,Liu Tianyue,Fu Haiyan.Deep Learning and Regularization Algorithms for Malicious Code Classification[J].IEEE ACCESS,2021.
Marin Ivana,Skelin Ana Kuzmanic,Grujic Tamara.Empirical Evaluation of the Effect of Optimization and Regularization Techniques on the Generalization Performance of Deep Convolutional Neural Network[J].APPLIED SCIENCES-BASEL,2020.
Hengyue Pan,Xin Niu,Rongchun Li,Siqi Shen,Yong Dou.DropFilterR: A Novel Regularization Method for Learning Convolutional Neural Networks[J].Neural Processing Letters,2019.
Nitish Srivastava,Geoffrey E. Hinton,Alex Krizhevsky,Ilya Sutskever,Ruslan Salakhutdinov.Dropout: a simple way to prevent neural networks from overfitting.[J].Journal of Machine Learning Research,2014.
谢璐阳,夏兆君,朱少华,张代庆,赵奉奎.基于卷积神经网络的图像识别过拟合问题分析与研究[J].软件工程,2019(10).
任义丽,罗路.卷积神经网络过拟合问题研究[J].信息系统工程,2019(05).
宋长明,王赟.融合低秩和稀疏表示的图像超分辨率重建算法[J].西安交通大学学报,2018(07).
吕永标,赵建伟,曹飞龙.基于复合卷积神经网络的图像去噪算法[J].模式识别与人工智能,2017(02).
0
浏览量
4
下载量
0
CSCD
关联资源
相关文章
相关作者
相关机构
京公网安备11010802024621