2015年加入淘宝,从事无线开发至今,目前担任无线开发专家一职。是阿里巴巴开源的首款端侧推理引擎 MNN (Mobile Neural Network) 的核心开发。
2015年加入淘宝,从事无线开发至今,目前担任无线开发专家一职。是阿里巴巴开源的首款端侧推理引擎 MNN (Mobile Neural Network) 的核心开发。
随着深度学习的快速发展和端侧设备算力的不断提升,原本在云端执行的推理预测工作正在部分迁移到端侧。相较云端智能,端侧智能具有低延时、兼顾数据隐私、节省云端资源等优势。MNN作为手机淘宝、手机天猫、优酷等App中的轻量级的深度学习端侧推理引擎,支撑了直播、短视频、搜索推荐、图像搜索、互动营销、权益发放、安全风控等场景下的端侧智能,每天稳定运行上亿次。近日,MNN已经在Github上开源。这次分享就为大家带来MNN开发、开源中的思考与总结。
演讲提纲:
1. 背景
(1)移动AI的发展现状
(2)端侧智能面对的挑战
2. 应对之道
(1)模型转换与优化
(2)调度管线与抽象计算设备
(3)预处理与内存复用
(4)性能优化
(5)取舍
(6)性能比较
(7)流程优化
3. 基于编译器优化方案的比较
4. 移动AI应用场景
5. 开源与规划
听众收益:
1. 了解移动AI的发展状况和应用场景
2. 通过端侧推理引擎了解移动/IoT深度优化策略