随着业务规模的快速增长,现有的系统架构在负载能力,处理性能,以及成本上逐渐无法适... 展开 >
腾讯9年多互联网产品研发经验,负责多款亿级用户平台性产品的设计与研发,包括QQ音乐,Qzone音乐盒,全民K歌,数字专辑等。目前担任全民K歌技术总监,熟悉互联网产品设计,研发流程,擅长海量服务系统架构设计,业务安全体系构建,黑产对抗与打击,同时拥有丰富的项目管理,团队管理经验。
腾讯9年多互联网产品研发经验,负责多款亿级用户平台性产品的设计与研发,包括QQ音乐,Qzone音乐盒,全民K歌,数字专辑等。目前担任全民K歌技术总监,熟悉互联网产品设计,研发流程,擅长海量服务系统架构设计,业务安全体系构建,黑产对抗与打击,同时拥有丰富的项目管理,团队管理经验。
随着业务规模的快速增长,现有的系统架构在负载能力,处理性能,以及成本上逐渐无法适应发展的需求。系统逐渐变得臃肿,导致扩容,缩容效率低下;随着逻辑的不断叠加,处理路径变长,加上耦合严重,导致性能下降,可靠性降低;逻辑耦合的日益严重,也使得冗余逻辑不断增加,硬件成本与变更的时间成本也随之增加。另外,伴随业务扩张与业务之间的合并,导致了越来越多的异构平台和异构数据,如何提升这些异构系统进行改造与升级,提升运作效率,降低成本,变成架构师面临的难题。
对于社交类型的产品,在各种各样利益的驱使下,容易滋生各式各样的黑色产业,这些黑色产业,利用文字,图片,音视频内容,偷取流量,传播有害内容,对平台健康发展带来了严重的隐患,如何利用技术手段,在准确识别有害账号与有害内容的同时,不影响正常用户使用产品,越来越成为业务架构的挑战。
本专题将重点分享与探讨如何在系统架构之初,充分考虑后续扩展能力,如何对线上系统做升级改造,并且实现平滑切换,以及业务安全架构中,如何更快,更准与黑产对抗等问题,只有架构层面的不断自我完善与进化,才能更好的支撑业务长期的高速健康发展。
美团点评境内度假事业部,在业务3位数增长、单日交易额破亿的同时,涌现了不同的交易系统,从标准单要素品类,到非标品类,和套餐品类,这对长远的用户体验统一和业务迭代带来了新的挑战。
通过对业务的深入思考,国内外分析,和架构设计,我们针对正向、逆向交易流程进行了统一建模,实现了从流程到数据的交易系统统一,更好的支撑了业务长期快速推进。融合后,新品类交易拓展速度大幅度提升
在云计算场景下,分布式系统调度器面临着海量任务带来的性能挑战。如何提高调度器的吞吐率?如何加快云主机的创建速度?如何应对用户潮汐式的波峰购买行为?面对这些问题,传统云计算系统和调度架构已经很难给出应对方案。
CVM团队采用多调度器架构和乐观并发控制,有效提升调度系统的并发度和吞吐率;同时,尽量避免调度冲突,以较小的代价处理调度冲突。实现了一款经过公有云验证的高性能分布式调度系统。
摘要:
背景:知乎首页信息流根据业务类型(实时性,资源节省,算法排序)选择了 PULL 类型的架构,而且系统中存在大量过滤,会产生反复到底层 feed source 拉取的问题。响应时间受到了比较大的影响达到了 1.6s。
解决方案选型:尽量使计算接近存储,节省网络和序列化开销。使用最新的 Redis module 技术,定义针对首页业务逻辑的 Redis 接口。
方案介绍:将一部分计算逻辑迁移到 Redis 内部,使数据(使用 protobuf 压缩)和计算完全在内存中进行,减少无效网络传输,大大提高计算效率,降低了响应时间。而且 Redis 内部的计算逻辑改变时,不需要重新编译 Redis,只需要动态记载计算逻辑部分即可。
实施后效果说明:响应时间 p95 1.6s - 700ms,节省内存 1T,CPU 500 个,减少首页依赖服务 1/2 的 qps。
演讲提纲:
听众收益:
在社交网络领域,基于社交关系的内容分发是整个信息架构的一个重要部分。传统的产品主要通过时间线的方式对这部分内容进行组织,但这种方式在内容分发效率上存在较明显缺陷。如何在原有的分发系统上进行演进,引入算法对Feed流进行个性化的分发,同时保持用户浏览体验不至造成混乱是一个很大的挑战。
musical.ly的服务器和算法团队在这个领域进行了较深入的探索,实践出一种可行的的设计方案。
讲述了全民K歌从零到千万在线的产品发展过程中,后台服务架构的演进,通过对UGC系统,流媒体上传下载体系,道具礼物体系,注册登陆系统,排行系统等核心模块的不断优化与重构,以适应快速增长的用户规模,从根本上保证了产品的高速增长。同时,介绍了在产品发展过程中,遇到的层出不穷的黑色产业模式与内容,以及业务是如何与各式各样的黑产做对抗,为用户提供了一个相对安全,干净,公平的平台,保障了用户的利益。
听众收益:
1.海量服务架构价值观与实战;
2.黑产对抗技术与经验;
3.产品高速发展过程中技术与团队面临的问题与应对方式。
京东虚拟商品系统有十几个业务线,几十个系统,上百个服务,高峰期每天几百万订单。业务的多样性,带来系统、服务、业务流程和复杂度的差异。通过分析和解决这些系统遇到的各种不同难题,分享如何有针对性的进行分布式系统可用性架构设计和实践经验。
从压测演练、运维监控、场景故障模拟、应急方案等方面介绍如何保障系统在大促时的高可用性。
当一个公司有多个业务订单,每个业务订单有不同的属性,不同的状态时,订单中心是分开,还是合并,是一个让人头疼的业务架构难题。
本次演讲将介绍58到家的订单中心业务架构演进,分享58到家订单中心踩过的坑,以及填坑方案。最终达到既能满足统一的列表、对账需求,又能满足业务个性化需求的效果。
业界,99%的公司是中小公司,他们的业务在快速增长与迭代,架构面对需要“支持高扩展性与高可用性”的变换可能无所适从,58到家的系统架构演进,能够真正解决他们实际中的问题。
极客邦控股(北京)有限公司
北京市朝阳区望京利泽中二路洛娃大厦C座6层1607