快手作为一个记录了数亿用户生活的短视频社区,背后是一个涵盖AI、大数据、海量服务... 展开 >
快手平台研发和大数据部门负责人,快手技术培训委员会主席,资深系统架构师,擅长海量服务架构、分布式系统,大数据等技术领域。前腾讯专家工程师,参与过多个亿级系统设计与实现,多次在QCon等技术会议上演讲。
快手作为一个记录了数亿用户生活的短视频社区,背后是一个涵盖AI、大数据、海量服务的复杂系统,我们在不断成长的路上也遇到了很多各个方向上的技术挑战,这次我们想分享几个在前端、算法、数据、工程等方面有代表性的问题以及我们的一些解决经验,希望能给听众带来一些启发。
目前多媒体内容占据了主要的互联网流量,快手作为一个数亿用户的短视频与直播平台,业务复杂,用户分布广,网络情况复杂,给媒体分发带来巨大挑战。本次演讲将介绍快手自研的私有传输协议 KTP (Kuaishou Transmission Protocol)。包括快手在媒体传输上遇到的挑战与思考,技术选型,以及 KTP 在短视频上传、直播、连麦等典型业务中的优化实践。
演讲提纲:
1、快手业务的基本介绍
2、KTP 的由来
3、KTP 的优化实践
4、未来展望:未来的优化方法和方向探讨
听众收益点:
随着用户增长和业务规模的扩大,快手经历了从传统 Web 服务架构到微服务架构的演进。整个过程对基础设施的建设提出了一系列挑战,包括多数据中心服务治理,复杂服务网络监控和容错管理,以及如何在应用框架层提升业务开发的效率和质量等。针对这些挑战,我们设计和开发了服务治理统一平台 KESS。该平台目前支撑了快手内部跨多个数据中心1000+的微服务。
本次演讲将为大家介绍 KESS 的设计理念,以及在服务治理方面的实践经验和思考。
演讲提纲:
1、快手后端服务架构演进过程和现状
2、KESS 的设计及服务治理相关实践:
听众受益:
大数据场景下实时多维分析能力极大提升了公司对数据探索的效率。快手大数据架构团队采用开源 Druid+Superset 的方案建设公司万亿级别实时 OLAP 平台。平台上线半年已经接入近 2000 数据源,日摄入消息数达 5000 亿,平均查询时延百毫秒级,在质量监控、事件分析、A/B Test 等业务场景广泛使用。
本次分享会详细介绍快手 OLAP 平台的演进过程、平台的建设经验以及在大规模场景下遇到的问题和解决思路。
演讲提纲:
听众受益:
在开发快手游戏直播站的过程中,为了进一步提升体验,我们先后经历了从传统网页到基于Vue SSR的同构应用的迁移。随着项目的扩大,之前很多架构上的问题也逐渐开始暴露出来:状态的组织,数据获取方式的取舍,数据流向的管理,组件的职责拆分等等基于此我们对项目架构进行重新设计,开始尝试基于Apollo GraphQL与xstream作为数据层解决方案,对于同构应用中的数据层管理方案进行深度定制,并针对多数据源聚合,单一数据源派发等场景进行重新梳理与开发,使得架构设计层面更加清晰,极大的提高了项目整体的可维护性于扩展性。
在本次演讲中,会对我们在项目研发过程中所遇到的挑战,以及对应解决方案的思考上进行细致的讲解,希望能够对与会者们有所启发。
演讲提纲:
听众受益点: