流计算技术Heron实践

课程简介

提高计算的时效性，更快的从数据中挖掘出信息和知识就意味着能够获取更大的价值。由于对于实时性的高要求，Twitter在过去几年的时间内投入人力和研发了一整套实时数据技术栈。

最近，越来越多的企业对于实时数据技术架构感兴趣。从批处理向流计算机构的转型，是企业关于如何使用数据的一次技术革命。但是，实时数据技术栈（包括流计算引擎、数据存储引擎、编程语言和工具）的最前沿现状又是什么呢？在这其中，又有哪些技术挑战？以及这些前沿技术怎么影响流计算的架构和应用呢？本次分享，将围绕这些技术内容讲解Twitter在使用Heron上的宝贵经验。

课程讲师

吴惠君

@Twitter Data Platform Engineer

吴惠君博士，现任Twitter工程师，致力于实时流处理引擎Heron的研究和开发，Apache Heron committer。毕业于Arizona State University，专攻大数据处理和移动云计算，曾在国际顶级期刊和会议发表多篇学术论文，著有《Mobile Cloud Computing: Foundations and Service Models》，并有多项专利。

课程大纲

• 流计算的简介以及一些典型应用
• 流计算架构是什么，不同类型的流计算架构及其优缺点
• Heron在流计算技术栈中的使用场景
• Heron详解
• Heron与上下游的衔接
• 我们使用Heron来搭建实时数据技术栈时获得的经验教训
• Q&A

目标人群

Software Engineers, Engineering Management, CIOs, Technology Leaders

课程收益

1. 了解流计算及其架构的历史，发展和典型应用，理解不同流计算平台的特性和优缺点
2. 理解Heron的基本架构并能使用Heron进行实时处理
3. 能够便捷地搭建一套高性能切实可用的实时处理系统
4. 了解分布式实时处理系统设计中常见问题、难点和处理策略

微服务原理、基础架构和开源实践

课程简介

当互联网公司业务和团队发展到一定规模，根据康威法则，微服务架构是一种必然的演化趋势。微服务架构可以认为是一个两层的架构体系，上层是微服务业务架构，下层是微服务基础架构，也就是说微服务架构是需要底层基础架构支撑的。

本课程讲师在多年一线实战经验和学习积累的基础上，给大家深入分析微服务基础架构体系和原理，以及如何利用开源技术为技术组织打造轻量级的微服务基础架构，赋能组织进行规模化创新。

课程讲师

杨波

拍拍贷 技术中心框架研发部总监

具有超过 10 年的互联网分布式系统研发和架构经验，曾先后就职于：eBay 中国研发中心（eBay CDC），任资深研发工程师，参与亿贝开放 API 平台研发，携程旅游网（Ctrip），任技术研发总监，主导携程大规模 SOA 体系建设，唯品会（VIPShop），任资深云平台架构师，负责容器 PaaS 平台的调研和架构。

课程大纲

1. 微服务原理
   • 康威法则，微服务和模块化组合式企业
   • 微服务先决条件，适用性和演化性
   • 微服务团队，组织架构和中台战略
2. 微服务基础架构和开源实践
   • 基础架构综述和大图The Big Picture
     • 康威法则，微服务和模块化组合式企业
     • 微服务先决条件，适用性和演化性
     • 微服务团队，组织架构和中台战略
   • 公共运行时服务
     • 服务发现Eureka/Consul
     • API网关Zuul
     • 配置中心Apollo
   • 服务框架和通信模式
     • RPC vs REST框架(Spring Boot, Thrift)
     • 聚合层和后台服务层
   • 监控告警和可靠性工程
     • 综述三层监控体系
     • 数据采集总线(Agent + Kafka)
     • 统一日志(ELK)
     • 统一度量(InfluxDB/KairosDB)
     • 调用链监控(CAT)
     • 统一告警(ZMON)
     • 限流熔断和Hystrix
   • 后台服务
     • 消息服务MQ(Kakfa/RocketMq)
     • 任务调度Job(XXL-Job)
     • 缓存服务(CacheCloud)
     • 分布式数据访问层(ShardingJDBC/MyCat)
     • 统一认证服务
   • 持续交付
     • 容器虚拟化和不可变基础设施
     • 容器云平台marathon
     • 持续集成，多环境和发布流水线
     • 蓝绿、金丝雀和灰度发布

目标听众

架构师、系统工程师、DevOps运维、应用开发专家、云计算工程师

课程收益

1. 深入理解微服务原理，先决条件，微服务架构和组织架构的关系
2. 理解微服务中台架构
3. 理解总体微服务基础架构体系
4. 理解公共运行时服务，服务发现，网关和配置中心原理和架构
5. 理解典型微服务框架和通讯模式，两层服务模式
6. 理解微服务监控体系和可靠性工程实践
7. 理解常用后台支持服务和开源实践
8. 理解基于容器云的持续交付流水线，各种发布模式

分布式应用架构

课程简介

随着越来越多的传统的、线下的业务互联网化，业务量可能获得爆发式增长。 在这个过程中，会经常遇到一些技术上的严峻挑战，比如业务需求的多变、频繁的小需求快速上线、宕机导致系统不可用、访问量突增导致系统响应慢用户体验下降等等。

该课程以京东这样的大型互联网电商公司分布式应用架构为例，分析应用场景，结合技术、框架和平台，应用系统架构设计原则，解决应用架构过程中的各种技术挑战和痛点。

课程讲师

杨超

京东商城 资深架构师

目前主要在做京东交易平台的研发和架构工作，主要关注的技术领域，高可用、高并发、分布式，以及一些基础技术、新语言、存储、容器、系统等。杨超2011年10月加入京东。先后负责和参与京东的IM项目、交易系统 .NET 转 Java、购物车、库存、多中心交易等核心系统的研发和架构升级工作。

课程大纲

1. 京东应用架构简介
2. 分布式架构的演进
   • 不同的业务场景、复杂度选用不同的架构方式，没有银弹
3. 系统架构模式
   • 常用模式在互联网公司的应用场景分析
4. 应用架构设计面对的挑战和遇到的坑
   • 如何应对业务灵活多变
   • 如何做到高可用
   • 如何做到高伸缩
   • 如何应对高并发
5. 实现技术
   • 服务框架
   • 消息系统
   • 缓存系统
   • 数据存储（SQL/NoSQL/文件）
   • 虚拟化

目标人群

架构师、研发工程师、技术负责人

课程收益

1. 了解京东分布式应用架构
2. 如何根据不同的场景选择合适的架构方式
3. 理解在大型互联网公司如何应用架构模式
4. 深入理解分布式架构面对的问题以及解决方案
5. 深入了解有哪些实现技术以及它们的应用场
6. 提高软件架构能力

微博微服务化最佳实践

课程简介

随着容器化等技术的发展，微服务持续火爆。不同规模、不同业务场景的服务适合什么样的微服务呢？从无到有构建服务化系统会遇到哪些问题呢？来听听微博在服务化过程中是如何演进，逐步构建成支撑每天万亿级服务调用的服务化架构吧。

本次课程会在微博服务化架构演进、混合云微服务管理、开源RPC框架Motan实践、不同服务化阶段遇到的问题及解决方案以及目前微博跨语言服务治理的最新方案等不同方向进行介绍。

课程讲师

张雷

新浪微博 技术专家

Motan开源框架技术负责人。2013年加入新浪微博，作为核心技术成员参与微博RPC服务化、混合云等多个重点项目，对于高可用架构及服务中间件开发有丰富经验。目前主要负责MotanRPC框架的维护与架构改进。

课程大纲

• 高并发微服务模式的典型代表——微博服务化简介
• 从无到有，从有到优——微博服务化发展过程
• 微博服务化的基础——Motan框架实践
• 云服务管理——微博混合云服务化及DCP管理平台
• 经验总结——微博服务化中的典型问题
• Next Milestone——微博跨语言服务化治理方案简介

目标人群

架构师、研发工程师、技术负责人

课程收益

1. 可以了解微博服务化实践的经验
2. 了解不同规模、不同阶段服务化面临的问题及解决方案
3. Motan框架的最佳实践及发展规划
4. 混合云微服务部署、管理相关经验
5. 微博跨语言服务化解决方案及最新进展
6. 了解微博服务化最新发展趋势