2006年毕业加入阿里集团,长期从事Hadoop相关的大数据计算平台研发,目前在计算平台事业部担任高级技术专家,负责YARN和Flink资源调度的研发。
2006年毕业加入阿里集团,长期从事Hadoop相关的大数据计算平台研发,目前在计算平台事业部担任高级技术专家,负责YARN和Flink资源调度的研发。
本科就读于武汉大学,硕士毕业于北京大学,先后就职于IBM,阿里巴巴和Hortonworks。一直专注于基于Hadoop的基础数据平台的搭建以及研发,活跃的Apache Hadoop committer & PMC,在HDFS和YARN项目上都有很多贡献。参与了HDFS Ozone, YARN调度器资源超卖,YARN富约束条件等特性的开发,有上万台Hadoop集群开发和管理的经验。目前任职于Hortonworks,专注于YARN的研发和生态发展。
Apache Hadoop YARN 作为Hadoop生态系统中的资源调度系统,承载着丰富的大数据应用和计算,正在逐步演变为服务于大数据的底层Operation System。为了应对大数据生态圈的多样性、异构性以及复杂性,通过对各类计算模型、新的资源类型的支持,YARN正向着一个通用、高效、可扩展、支持多租户的资源管理和调度平台蓬勃发展。
在这个演讲中,我们将分享YARN的最新特性,并延伸到如何使用YARN架构新一代计算平台。我们会介绍YARN如何无缝的支持各类机器学习和深度学习框架,怎样结合多租户、资源隔离以及资源共享的特性,安全而高效的在同一个平台上运行各类计算任务。我们也会分享YARN的容器化的最新进展,包括对服务类型任务更全面的支持,以及基于Docker conainer的网络和存储的优化。我们会结合行业的一些案例,介绍一些典型的应用场景以加深对这些技术的理解。
演讲提纲:
听众受益点: