轻量化神经网络嵌入式端图像识别推理加速研究

摘要

嵌入式图像识别设备普遍存在着算力少、存储带宽小、缓存资源少等现象，传统的深度神经网络不能适应终端部署环境。轻量化神经网络用结构优化和参数压缩的方式减小模型的计算量以及存储开销，更符合嵌入式终端的应用要求。但是轻量化模型在实际推理过程中仍然存在硬件算子适配性差、数据传输延迟、算力调度失衡、系统资源竞争等问题，不能充分发挥它的速度优势。本文根据轻量级网络运算特点和嵌入式硬件限制，从算子重构、编译优化、并行加速、缓存调度、流水线优化等各方面构建起嵌入式推理加速体系，剖析轻量化图像识别推理主要的瓶颈和损耗状况，整理出系统性的改进途径，给轻量化神经网络在嵌入式图像识别场合的高效部署给予理论参照。