随着字节跳动旗下业务的快速发展，数据急剧膨胀，原有的大数据架构在面临日趋复杂的业务需求时逐渐显现疲态。而伴随着大数据架构向云原生演进的行业趋势，字节跳动也对大数据体系进行了云原生改造。

本次分享将详细介绍字节跳动云原生大数据的构建思路、及演进与实践。

演讲提纲：

1. 字节云原生大数据背景
   • 字节云原生大数据构建思路
2. 字节云原生大数据实践
   • 大数据存储
   • 资源管理和调度
   • 大数据引擎统一管控面
   • 大数据中间件
   • 一站式服务构建
3. 未来的发展
   • 存储计算一体化调度
   • 更精细化的产品

你将获得：

• 了解云原生如何解决架构痛点 （业务烟囱，技术快速落地）
• 了解云原生平台迁移方案
• 学习从存储、调度、接入层到统一管控面完整的建设方案
• 了解云原生如何带来成本优势

ClickHouse 是目前最热门的 OLAP 引擎，极致的分析性能使其在越来越多的公司内得到推广和使用。小红书从 2019 年开始在公司内使用和推广 ClickHouse，目前在公司内部署了数十集群，上千台节点，支撑了公司所有业务的实时分析场景。不过随着业务的增长，ClickHouse存算不分离的架构，在运维管理、成本控制等方面的劣势进一步显现。因此小红书 OLAP 团队结合业务使用中的痛点，以及云上部署的特点，设计并实现了一套云原生的 ClickHouse 产品，从而显著提升了系统的可靠性和扩展性。立足于云原生 Clickhouse，我们进一步推动了 LakeHouse 建设，显著降低了数据准备成本，扩展了 ClickHouse 的使用场景。本次分享将为你小红书云原生 ClickHouse 的演进，希望为你带来启发。

演讲提纲：

1. 背景
2. 云原生clickhouse建设
   • 云原生存算分离分层架构
   • 基于对象存储的查询性能优化
   • 容器化部署和弹性扩展实践
   • 针对海量数据实时分析场景的优化
3. 业务落地
4. 湖仓一体建设
5. 未来规划

你将获得：

• 了解小红书在 ClickHouse 大规模使用中遇到的痛点
• 了解小红书在 ClickHouse 云原生架构设计上的思考与探索
• 了解小红书在 LakeHouse 上的思考与探索

京东大数据平台早期使用多地多机房的部署架构，高效服务京东的各业务场景。随着业务的迅猛增长和业务融合，各机房资源利用不均的问题越来越凸显。通过借鉴业界的大数据云原生化趋势，为了达到提升整体资源利用率的同时，构建可持续发展的大数据平台，我们开始推进云原生改造。

本次分享将给你带来京东云原生跨域大数据架构的构建思路，以及最佳实践。

演讲提纲：

1. 京东大数据平台概况
2. 京东云原生大数据平台建设背景和挑战
3. 京东云原生大数据平台落地实践
   • 离在线混部
   • 跨域存储 
4. 落地收益
5. 未来规划

你将获得：

• 了解云原生跨域架构的痛点
• 了解如何通过技术手段实现大数据的极致降本增效
• 学习元数据、存储、计算以及混合弹性云建设的完整方案

美团大数据和机器学习基础设施早期基于 Yarn 构建，随着业务变得复杂和业界云原生蓬勃发展，渐渐暴露出各类问题，对基础设施的架构升级变得有必要。由于机器数量庞大，业务复杂度高，且机器学习场景具备对调度语义要求高、调度吞吐低及功能扩展性高的特征，在实践过程中采取了先对机器学习场景云原生化改造，逐步完成所有场景云原生改造的路径。目前已经完成自研多租户多队列的离线调度器、容器网络改造、存储接入、Training on K8s、Spark on K8s等工作，每天在数万机器、数万张 GPU卡上跑着机器学习训练任务、预测服务、Spark App 和 Presto 查询等各类作业。

演讲提纲：

1. 美团大数据和机器学习基础设施早期形态和架构升级背景介绍
2. 美团大数据和机器学习基础设施云原生改造的实践过程
3. 大规模集群实践过程中的关键问题和思考
4. 未来规划

你将获得：

• 了解大规模集群架构升级的完整过程及关键问题
• 云原生在大规模集群从 0 到 1 落地的经验