基于混合激活函数的改进卷积神经网络算法

全文下载： 202101017.pdf

文章编号： 16726987（2021）01011405； DOI： 10.16351/j.16726987.2021.01.017

刘国柱， 赵鹏程*， 于超， 王晓甜

(青岛科技大学 信息科学技术学院，山东 青岛 266061）

摘要： 激活函数是人工神经网络的重要组成部分，对提高人工神经网络的准确性具有重要影响。为了研究使用混合激活函数的卷积神经网络在图像分类任务中的识别精度和收敛速度表现，本工作以LeNet5卷积神经网络为基本结构，构造了一个使用SinusoidSinusoidRamp（SSR）混合激活函数的卷积神经网络，以及4个使用单一激活函数（Sinusoid、Ramp、Sigmoid、Tanh）的卷积神经网络在CIFAR10数据集上进行了图像分类实验，并在MNIST数据集上将本工作新模型同其他分类算法的效果进行了对比。结果表明，使用SSR混合激活函数的卷积神经网络具有更快的收敛速度和更高的识别精度。

关键词： 混合激活函数； 卷积神经网络； 图像识别； 准确率

中图分类号： TP 181文献标志码： A

引用格式： 刘国柱， 赵鹏程， 于超, 等. 基于混合激活函数的改进卷积神经网络算法［J］. 青岛科技大学学报(自然科学版), 2021, 42(1): 114118.

LIU Guozhu， ZHAO Pengcheng， YU Chao， et al. Convolutional neural network image recognition based on hybrid activation function［J］. Journal of Qingdao University of Science and Technology（Natural Science Edition), 2021, 42(1): 114118.

Convolutional Neural Network Image Recognition Based on

Hybrid Activation FunctionLIU Guozhu， ZHAO Pengcheng， YU Chao， WANG Xiaotian

(College of Information Science and Technology, Qingdao University of Science and Technology, Qingdao 266061, China)

Abstract: The activation function is an important part of artificial neural networks and has an important impact on improving the accuracy of artificial neural networks. In order to study the effect of using hybrid activation function convolutional neural networks to improve image classification accuracy and the convergence speed of models, This paper uses the Lenet5 convolutional neural network as the basic structure, and constructs a convolutional neural network using SSR (S: Sine function, R: Ramp function) mixed activation function, and four single activation function (Sine, Ramp, Sigmoid, Tanh) convolutional neural networks perform image classification experiments on the CIFAR10 dataset. And compare our new model with other classification algorithms on the MNIST dataset. The results show that the convolutional neural network using the SSR hybrid activation functions has faster convergence speed and higher recognition accuracy.

Key words: mixed activation function; convolutional neural network; image recognition; accuracy

收稿日期： 20191224

基金项目： 山东省自然科学基金项目(ZR2014FM015).

作者简介： 刘国柱(1965—)，男，教授.*通信联系人.