MNN - 端侧推理引擎面临的挑战与应对

所属专题:移动AI

嘉宾 : 陈以鎏(离青) | 淘宝无线开发专家

讲师介绍

专题演讲嘉宾:陈以鎏(离青)

淘宝 无线开发专家

2015年加入淘宝,从事无线开发至今,目前担任无线开发专家一职。是阿里巴巴开源的首款端侧推理引擎 MNN (Mobile Neural Network) 的核心开发。

议题介绍

演讲:MNN - 端侧推理引擎面临的挑战与应对

随着深度学习的快速发展和端侧设备算力的不断提升,原本在云端执行的推理预测工作正在部分迁移到端侧。相较云端智能,端侧智能具有低延时、兼顾数据隐私、节省云端资源等优势。MNN作为手机淘宝、手机天猫、优酷等App中的轻量级的深度学习端侧推理引擎,支撑了直播、短视频、搜索推荐、图像搜索、互动营销、权益发放、安全风控等场景下的端侧智能,每天稳定运行上亿次。近日,MNN已经在Github上开源。这次分享就为大家带来MNN开发、开源中的思考与总结。

演讲提纲:

1. 背景

(1)移动AI的发展现状

(2)端侧智能面对的挑战

2. 应对之道

(1)模型转换与优化

(2)调度管线与抽象计算设备

(3)预处理与内存复用

(4)性能优化

(5)取舍

(6)性能比较

(7)流程优化

3. 基于编译器优化方案的比较

4. 移动AI应用场景

5. 开源与规划

听众收益:

1. 了解移动AI的发展状况和应用场景
2. 通过端侧推理引擎了解移动/IoT深度优化策略

交通指南

© 2020 Baidu - GS(2019)5218号 - 甲测资字1100930 - 京ICP证030173号 - Data © 长地万方
本网站图片存储由七牛云独家支持