在快手 Y-tech 部门负责 AI SDK 架构,包括业务开发、链路优化和底层开发,实现高效的算法落地和上线,在给生产侧创造更多更有趣的拍摄玩法的同时,赋能更多样的 AI 落地场景。毕业于清华大学和卡耐基梅隆大学,加入快手前曾在 Facebook 和微软 HoloLens 部门任职,参与 MR和 3D 等创新技术的研发。

在快手 Y-tech 部门负责 AI SDK 架构,包括业务开发、链路优化和底层开发,实现高效的算法落地和上线,在给生产侧创造更多更有趣的拍摄玩法的同时,赋能更多样的 AI 落地场景。毕业于清华大学和卡耐基梅隆大学,加入快手前曾在 Facebook 和微软 HoloLens 部门任职,参与 MR和 3D 等创新技术的研发。
随着近年各类应用 AI 能力的玩法特效在短视频中的兴起,例如变年龄、漫画风格和 AR 效果等,如何打造一个高效的 AI SDK 成为重点问题。这样的 SDK 应该具有对不同机器学习模型的通用性强、端上运行效率高、算法接入成本小和可配置度高等特点。
针对以上问题,以及为了满足快手魔法表情和其他端上 AI 任务的快速发展的需求,我们开发了 YKit SDK,目前支持多达 60 多种底层 AI 能力,同时还在接入新能力。YKit 向下无缝衔接自研的 YCNN 推理引擎,向上方便地对接快手各 App 业务方和其他中台 SDK。为了优化在不同机型上的性能,搭建了自定义模型适配和服务端模型分级下发,以及不同的插帧策略。为了统一算法的接入,定义了 CPU 推理到 GPU 后处理渲染的模版化链路。
目前可以支持每月若干新玩法的快速开发、复用和上线,在各档机型达到流畅拍摄效果,创造用户喜欢的爆款特效,例如童话魔法、时光机、人像手绘等。其中,2020 年 11 月上线的 GAN 类玩法童话魔法,达到了数百万作品量和数十亿播放量。
本演讲将从整体到细节,深入讲解快手 YKit AI SDK 从开发到落地的思路、遇到的问题以及原创的解决方法,希望能给业界同行在相关的开发上带来性能优化、落地流程、玩法应用等方面的借鉴和启发,促进大家在这个话题领域的讨论交流,推动深度学习在视频图像类应用上的整体发展。
演讲提纲:
1. 背景
2. 效果展示
3. YKit SDK 框架
4. 性能优化和工具链配套
5. 未来展望
6. Q&A
你将获得:



电话咨询