神经网络压缩相关文献有哪些

发布时间：2022-10-24 20:43 热度：

　　有很多从事计算机工程、计算机应用这方面的工作者会发表神经网络方面的论文，一些人在撰写论文前会阅读一些相关的文献，那神经网络压缩相关文献有哪些?

　　1. 基于联合动态剪枝的深度神经网络压缩算法

　　摘要：作为模型压缩的一个分支，网络剪枝算法通过移除深度神经网络中不重要的参数来降低计算消耗;然而，永久性的剪枝会导致模型容量不可逆转的损失。针对该问题，提出了一种联合动态剪枝的算法来综合分析卷积核与输入图像的特征。一方面，将部分卷积核置零，并允许其在训练过程中更新，直到网络收敛之后再永久性移除被置零的卷积核。

　　关键词：模型压缩;网络剪枝;动态剪枝;深度神经网络;卷积核;

　　2. 基于对抗学习和知识蒸馏的神经网络压缩算法

　　摘要：针对基于深度学习的人脸识别模型难以在嵌入式设备进行部署和实时性能差的问题，深入研究了现有的模型压缩和加速算法，提出了一种基于知识蒸馏和对抗学习的神经网络压缩算法。算法框架由三部分组成，预训练的大规模教师网络，轻量级的学生网络和辅助对抗学习的判别器。改进传统的知识蒸馏损失，增加指示函数，使学生网络只学习教师网络正确识别的分类概率;鉴于中间层特征图具有丰富的高维特征，引入对抗学习策略中的判别器，鉴别学生网络与教师网络在特征图层面的差异;

　　关键词：知识蒸馏;对抗学习;互学习;模型压缩;人脸识别;

　　3. 面向星上实时目标检测的神经网络压缩方法

　　摘要：针对深度神经网络在轨实时目标检测需求与星上有限硬件资源之间的矛盾,基于宇航级处理芯片特性,提出一种结合剪枝、渐进式混合量化的混合压缩方法。对网络卷积层进行滤波器级剪枝,大幅度降低卷积计算操作数量;提出一种渐进式混合量化方法,在网络量化过程中混合使用不同的量化位宽,有效降低目标检测网络在宇航级处理芯片中的内存大小。在RSOD遥感图像数据集上的实验结果表明,该方法在网络检测精度损失<1%的前提下,提升了网络对星上有限计算和存储资源的利用率。

　　关键词：星上实时目标检测;卷积神经网络;滤波器级剪枝;渐进式混合量化;量化位宽;

　　推荐阅读：