直播方兴未艾,短视频风靡网络,在线教育互动直播风口重起,音视频是大前端的重要子领... 展开 >
朱龙佰,专注领域有流媒体、在线教育、人工智能等,北京大学计算机科学技术系虚拟现实硕士,历任SAP上海实验室架构师、武汉刻度科技发展有限公司技术总监等职位,现任好未来教育科技集团(TAL)直播产品部总架构师。
2015年加入好未来,参与组件直播产品部,从0开始打造好未来在线互动直播教育平台—直播云(WeClassroom)。 直播云服务于好未来集团内部各事业部的1对1、小班课、大班课等在线业务,成为各事业部的在线教育标配工具。
直播方兴未艾,短视频风靡网络,在线教育互动直播风口重起,音视频是大前端的重要子领域,音视频如何优化,如何做好实时处理,如何落地应用场景是我们关注的问题。
随着计算机图形图像技术的迅速发展,数字视频技术逐渐成熟,以数字视频处理为核心的非线性编辑视频处理系统已成为制作影视节目、数字多媒体的主要工具。然而随着移动互联网的兴起,视频拍摄与传播门槛的降低,人们迫切需要一种更为智能和方便的视频拍摄和编辑工具。短视频类的App渐渐成为了人们拍摄、编辑、分享视频的主流。
提纲:
1. 视频整体流程与框架设计
2. 视频的采集与优化
(1)清晰度优化
谈谈如何运用降噪、超级采样、增亮等技术手段,使采集到的视频具有更高的质量。
(2)滤镜与调色技术
LUT调色滤镜的技术原理、使用方式、以及优缺点。
(3)基于人脸识别的人像效果优化
使用人脸识别技术,获得人的脸部信息,从而有针对性的进行美白、磨皮、瘦脸乃至五官调整,提高人物的拍摄质量。
(4)增强现实技术与粒子特效
随着AR技术的蓬勃发展,在视频拍摄中使用基于增强现实技术的特效已经变得十分普遍。本部分将会从AR技术的基本原理,到粒子渲染的实践及性能优化方面,介绍如何搭建一个基于AR的粒子特效系统。
3. 视频编辑及处理技术
(1)视频特效技术
视频特效一直是视频编辑技术的重要组成部分之一。本部分将介绍如何设计并开发视频各式各样的特效,比如分裂、幻影、老电影等等。
(2)时间轴与分段特效
视频的非线性编辑技术,正是现代数字视频编辑技术区别于早期视频编辑技术的重要指标,而时间轴及分段特效管理正是这套系统的核心。本部分将介绍视频编辑系统中的时间轴及分段特效的技术框架设计及运用。
(3)动态封面
随着短视频的发展,简单的静态封面已经不能满足用户的需求,而更加美观的含有更多信息量的动态视频封面应运而生。本部分将主要介绍如何生成动态封面,以及通过视频编辑的信息优化动态封面的技术。
4. 未来的发展
(1)从游戏引擎到特效引擎
(2)AI与视频标签
(3)超分辨率
听众受益:
(1)了解视频的相关原理、技术及优化方案
(2)理解视频特效的原理和方案
(3)了解视频编辑技术及框架的设计
WebAssembly技术历经3年的发展已经日臻成熟,主流浏览器厂商都已提供了对Webassemly的支持。WebAssembly技术的引入大幅提升了浏览器端一些计算密集型的场景(如:音视频领域,3D游戏)的性能,利用WebAssembly技术的特性在浏览器端与WebRTC相结合实现更加丰富的音视频呈现效果,分享内容包含基于WebAssembly的实现视频Filter ,面部检测与关键点识别,并结合在线教育K12教学场景提升音视频互动性。可以预见WebAssembly能让音视频技术和Web前端开发更完美的结合在一起。
演讲提纲:
1. WebAssembly技术介绍
(1) WebAssembly诞生的背景
(2) WebAssembly的原理、运行机制及适用场景
(3) WebAssembly当前发展的现状
2. WebAssembly开发及应用
(1)WebAssembly相关工具链的介绍
(2)WebAssembly的开发、调试、调优
(3)和传统JS的性能对比
3. 结合WebAssembly提升在线课堂音视频的互动性
(1) 实现基于facial detection,facial alignment的教学体验的提升
(2) 在浏览器端实现基于面部跟踪的虚拟面具
(3) WebAssembly如何与既有的前端工程结合
(4) 开发时的一些技巧和最佳实践
4. WebAssembly的展望及预期
(1) 开发WebAssembly可能遇到的坑
(2) WebAssembly未来发展Roadmap
听众收益:
1.了解WebAssmebly的原理、应用及发展趋势
2.帮助听众了解当前浏览器已具备媲美Client端及移动端Native App的能力
3.借助WebAssembly,提升音视频在终端的表现能力
随着 AR 技术越来越成熟,尤其是苹果的 ARKit 技术更新之快,超出了人们的想像。可以说现在 AR 技术已经从之前的象牙塔走入了可以实际应用的阶段。
AR 技术应用到在线教育领域有着得天独厚的优势。而将其引入到直播系统中将会大大加强人们在在线学习中的感受,这势必会引起一场新的在线教育的技术"革命"。
AR的核心就是视频+视频分析(场景理解)+ 虚拟物品,而直播核心是 音视频+传输。从中我们也可能看出,只要在直播系统中加入 场景理解 + 虚拟物品,就可以构造出 在线直播AR系统。
当然,要想真正的构建出一套非常好的,适合于人们学习的,有特点的 AR教育直播系统,我们还必须付出巨大的努力才能取得成功。
我所讲的主题就是 AR 系统该如何使用,如何引入到现有的直播系统中。AR的优势及引入直播系统中的难点都将在本次主题中向大家一一介绍。
大纲:
1. AR/VR的介绍与区别
2. AR技术现状与应用
3. AR核心算法介绍
4. AR运行机理
5. ARKit Demo讲解
6. ARKit 与 ARCore 迥异
7. ARCore Demo讲解
8. 直播系统中引入 AR的基本流程与难点
9. 直播系统与引入 AR Demo演示
听众收益:
1. 了解 AR 的现状及基本使用。
2. 了解 AR 如何与直播系统结合,并知道其中的难点 。