Apache Hadoop YARN: State of the Union

所属专题:数据基础平台构建技术

所属领域:

嘉宾 : 任春德 | 阿里巴巴高级技术专家

会议室 : 一层 5号厅CD

讲师介绍

专题演讲嘉宾:任春德

阿里巴巴 高级技术专家

2006年毕业加入阿里集团,长期从事Hadoop相关的大数据计算平台研发,目前在计算平台事业部担任高级技术专家,负责YARN和Flink资源调度的研发。

专题演讲嘉宾:杨巍威

Hortonworks YARN/Staff Engineer

本科就读于武汉大学,硕士毕业于北京大学,先后就职于IBM,阿里巴巴和Hortonworks。一直专注于基于Hadoop的基础数据平台的搭建以及研发,活跃的Apache Hadoop committer & PMC,在HDFS和YARN项目上都有很多贡献。参与了HDFS Ozone, YARN调度器资源超卖,YARN富约束条件等特性的开发,有上万台Hadoop集群开发和管理的经验。目前任职于Hortonworks,专注于YARN的研发和生态发展。

议题介绍

地点:一层 5号厅CD
所属专题:数据基础平台构建技术
所属领域:

演讲:Apache Hadoop YARN: State of the Union

Apache Hadoop YARN 作为Hadoop生态系统中的资源调度系统,承载着丰富的大数据应用和计算,正在逐步演变为服务于大数据的底层Operation System。为了应对大数据生态圈的多样性、异构性以及复杂性,通过对各类计算模型、新的资源类型的支持,YARN正向着一个通用、高效、可扩展、支持多租户的资源管理和调度平台蓬勃发展。

在这个演讲中,我们将分享YARN的最新特性,并延伸到如何使用YARN架构新一代计算平台。我们会介绍YARN如何无缝的支持各类机器学习和深度学习框架,怎样结合多租户、资源隔离以及资源共享的特性,安全而高效的在同一个平台上运行各类计算任务。我们也会分享YARN的容器化的最新进展,包括对服务类型任务更全面的支持,以及基于Docker conainer的网络和存储的优化。我们会结合行业的一些案例,介绍一些典型的应用场景以加深对这些技术的理解。

演讲提纲:

  1. Apache Hadoop YARN 最新进展
  2. 基于YARN的基础计算架构
  3. 行业实战分享
  4. 总结和展望

听众受益点:

  • Apache Hadoop YARN 社区的最新发展状态
  • YARN 原生对于Service、Machine Learning和Deep Learning的支持
  • YARN 新的调度特性