WebRTC 实时视频处理——基础美颜与视频超分实践

所属专题:音视频技术

嘉宾 : 高纯 | 声网Agora高级架构师

会议室 : 沙龙1

讲师介绍

专题演讲嘉宾:高纯

声网Agora 高级架构师

高纯,声网 Agora 高级架构师。2010年至2018年任职于英特尔亚太研发中心开源技术中心,曾参与 MeeGo Browser、Chromium/Blink 内核、Crosswalk Web Runtime、Chrome OS、Android N 等多个开源 Web Engine 以及 OS 项目的研发。2019年加入声网,从事 Web Runtime 及 Web 平台音视频处理技术的研究工作。

议题介绍

演讲:WebRTC 实时视频处理——基础美颜与视频超分实践

随着 HTML5 标准在主流浏览器内核的实现,Web 平台拥有了空前强大的多媒体处理能力。以 WebRTC 为代表的音视频实时通讯技术获得广泛应用,随着各种新的应用场景的出现,Web 平台实时视频处理的需求也越来越迫切。

本次分享将基于 W3C 和 Khronos 的现有 Web 标准,介绍 Web 平台实时视频美颜的实现方法,以及基于深度学习的视频超分实现方法。介绍通过对 Tensorflow.js 输入输出接口的定制实现超分处理流程的 GPU 加速,将基于 Tensorflow.js 的视频超分性能提升3倍左右。最后对 Web 平台深度学习的发展进行探索和展望。

演讲提纲:

1.  应用背景与 HTML5 简介

2.  Web 平台并行计算标准

    (1) WebGL/WebGL Compute
    (2) WebGPU
    (3) WebCL

3.  基于 WebGL 的基础美颜实现

    (1) 美颜实现涉及的相关 Web 模块
    (2) 主要步骤
    (3) 处理性能

4.  Web 视频超分探索

    (1) Web 平台主要深度学习工具箱
    (2) 基于 Tensorflow.js 的超分实现
    (3) Tensorflow.js 接口定制
    (4) 基于改进的 Tensorflow.js 的超分实现
    (5) 性能分析

5.  Web 平台深度学习展望

    (1) 深度学习 W3C 标准展望
    (2) 基于 NPU 和定制 WebRuntime 的深度学习实践

听众收益:

1.  了解如何基于 HTML5 现有标准实现高效实时视频处理
2.  了解 Web 平台深度神经网络的应用及优化
3.  了解浏览器内核原理

前沿亮点:

1.  Web 实时视频处理细节
2.  Web Engine 性能优化

知识储备:

Web 开发技术基础或视频技术基础

交通指南

© 2020 Baidu - GS(2019)5218号 - 甲测资字1100930 - 京ICP证030173号 - Data © 长地万方
本网站图片存储由七牛云独家支持