专题演讲嘉宾:任春德

阿里巴巴高级技术专家

2006年毕业加入阿里集团,长期从事Hadoop相关的大数据计算平台研发,目前在计算平台事业部担任高级技术专家,负责YARN和Flink资源调度的研发。

by 任春德

阿里巴巴
高级技术专家

by 杨巍威

Hortonworks
YARN/Staff Engineer

Apache Hadoop YARN 作为Hadoop生态系统中的资源调度系统,承载着丰富的大数据应用和计算,正在逐步演变为服务于大数据的底层Operation System。为了应对大数据生态圈的多样性、异构性以及复杂性,通过对各类计算模型、新的资源类型的支持,YARN正向着一个通用、高效、可扩展、支持多租户的资源管理和调度平台蓬勃发展。

在这个演讲中,我们将分享YARN的最新特性,并延伸到如何使用YARN架构新一代计算平台。我们会介绍YARN如何无缝的支持各类机器学习和深度学习框架,怎样结合多租户、资源隔离以及资源共享的特性,安全而高效的在同一个平台上运行各类计算任务。我们也会分享YARN的容器化的最新进展,包括对服务类型任务更全面的支持,以及基于Docker conainer的网络和存储的优化。我们会结合行业的一些案例,介绍一些典型的应用场景以加深对这些技术的理解。

演讲提纲:

  1. Apache Hadoop YARN 最新进展
  2. 基于YARN的基础计算架构
  3. 行业实战分享
  4. 总结和展望

听众受益点:

  • Apache Hadoop YARN 社区的最新发展状态
  • YARN 原生对于Service、Machine Learning和Deep Learning的支持
  • YARN 新的调度特性