AI技术通过各种智能终端离我们的用户更近了,它除了满足用户各种各样的需求,如智能... 展开 >
吴萍,百度App主任架构师。2011年加入百度,自加入后一直从事Web Runtime相关的研发,先后参与了轻应用、直达号、浏览器内核、手机百度等战略重点项目,负责百度小程序、小游戏核心架构,为打造开放、平等、协作、分享的生态而努力。
AI技术通过各种智能终端离我们的用户更近了,它除了满足用户各种各样的需求,如智能翻译、语音指令等,还能不断提高我们的研发质量,如UI自动化测试框架、图像/视频的智能识别等。在本专题下,我们将看到各个顶尖技术团队是如何结合终端+AI技术,带来更好的用户体验的。
虚拟现实和增强现实是现在非常火的两个话题。特别是增强现实,在苹果的ARKit和Google的ARCore发布后,让大家一下子看到了在实践中应用的可能性。在游戏行业,增强现实也给手机游戏带来了更多的可玩性。因此我们在百度小游戏中也吃了一次螃蟹,借助WebXR标准,把AR能够集成到小游戏中,让小游戏的开发者也能够利用AR的能力。这次分享主要就介绍我们如何在小游戏集成AR,集成过程中碰到的问题及方案。
演讲提纲:
1. 背景
(1)百度小游戏的介绍以及引入AR能够给百度小游戏带来什么
(2)现在已有的一些AR方案的介绍
(3)WebXR与AR
2. 百度小游戏中对AR的应用
(1)ARCore和ARKit的集成,特征点检测、平面检测、环境光照检测,锚点的应用
(2)平台的性能,兼容性问题及降级方案
(3)人脸等AR能力的扩展
(4)AR中的多人联机
3. 小游戏的AR case举例,通过case介绍
(1)AR应用于普通应用交互上的不同
(2)在应用中发挥出AR的优势
听众收益:
1. 了解一些AR的基础概念和发展现状
2. 能够对如何应用AR带来一些启发
3. 了解在自己的场景里应用AR的一些最佳实践
近年来,机器学习技术,特别是深度学习子领域已经成功地用于高级模式识别应用,例如图像识别、语音识别和自然语言处理。包括英特尔在内的硬件供应商正在积极优化深度学习工作负载的性能,不仅要扩展 CPU 和 GPU 的功能,还要引入新的专用加速器。但是,在 Web 平台上运行的程序仍然缺乏和原生程序类似的性能。为了解决这种情况,我们提出了 Web 神经网络(WebNN)API,用于访问 Web 浏览器中的深度学习硬件加速。我们在 Chromium 中构建了 WebNN API 原型,我们的原型运行在 Windows、Linux、macOS 和 Android 等平台上。我们在 TensorFlow 和 ONNX 的深度学习模型上尝试了我们的 WebNN 原型,在 GPU 上观察到 3-13 倍的加速,并且在CPU 上加速超过 10 倍。
本次分享将以目前 Web 平台深度学习框架的性能分析为起点,详细介绍 Intel Web 团队对 WebNN 的原理和实现,以及带来的真实的性能提高等内容。希望能够对关注深度学习框架,尤其是在 Web 端应用以及 Web 端深度学习框架的与会者带来新的技术和帮助。
演讲提纲:
1. 背景
(1)AI 技术在 Web 端的演进和发展
(2)现有 Web 端 AI 框架的性能问题
2. 提案
(1)WebNN API 的提案
(2)WebNN API 的分层架构
(3)WebNN API 的实现
3. API 及代码示例
4. 结果数据
(1)基准测试
(2)性能数据
5. 现场体验(Demo)
(1)现有示例及 Demo 体验
(2)性能展示
6. 在 W3C 社区组的最新进展
7. WebNN API 对前端开发者的帮助
8. WebNN API 对 AI 框架和浏览器内核的助力
听众收益:
1. WebNN API 会使 Web 前端开发者了解在深度学习领域的性能提升新方案
2. 有助于 Tensorflow.js、ONNX.js等框架使用者了解适配 WebNN API 后的性能改进结果
3. 帮助国内其他厂商应用 WebNN API,显著助力自己深度学习框架的性能提高
听懂我的演讲,需要具备这些知识:
Web 前端、JavaScript,以及初步的 AI 知识
随着深度学习的快速发展和端侧设备算力的不断提升,原本在云端执行的推理预测工作正在部分迁移到端侧。相较云端智能,端侧智能具有低延时、兼顾数据隐私、节省云端资源等优势。MNN作为手机淘宝、手机天猫、优酷等App中的轻量级的深度学习端侧推理引擎,支撑了直播、短视频、搜索推荐、图像搜索、互动营销、权益发放、安全风控等场景下的端侧智能,每天稳定运行上亿次。近日,MNN已经在Github上开源。这次分享就为大家带来MNN开发、开源中的思考与总结。
演讲提纲:
1. 背景
(1)移动AI的发展现状
(2)端侧智能面对的挑战
2. 应对之道
(1)模型转换与优化
(2)调度管线与抽象计算设备
(3)预处理与内存复用
(4)性能优化
(5)取舍
(6)性能比较
(7)流程优化
3. 基于编译器优化方案的比较
4. 移动AI应用场景
5. 开源与规划
听众收益:
1. 了解移动AI的发展状况和应用场景
2. 通过端侧推理引擎了解移动/IoT深度优化策略