大数据技术当中,在海量数据的存储环节,涉及到两个重要的概念,就是分布式数据存储与... 展开 >




主要负责腾讯云对象存储数据湖方向,主要负责数据湖存储和 GooseFS 设计和研发,同时是开源社区 Apache Hadoop Committer 和 Apache Ozone PMC。多年存储研发经验,曾在 AWS S3、华为存储、腾讯云和腾讯大数据任职。
大数据技术当中,在海量数据的存储环节,涉及到两个重要的概念,就是分布式数据存储与数据库,稳定高效安全的数据存储,才能为后续的计算分析环节,提供稳固的支持。
CubeFS 是托管于云原生计算基金会(CNCF)的开源分布式存储产品,目前处于孵化阶段。本次演讲首先会介绍 CubeFS 的整体架构和关键特性,然后介绍 OPPO 在大数据存储和机器学习存储中面临的困难和挑战,以及如何利用 CubeFS 解决这些挑战,实现大规模存储的降本增效。最后,我们将讨论 CubeFS 的未来发展方向。
演讲提纲:
1.CubeFS的整体架构和产品特性
2.CubeFS在大数据场景的应用
3.CubeFS在机器学习场景的应用
4.未来规划
你将获得:
1.了解云原生存储CubeFS的架构和特性
2.了解大数据和机器学习领域存储的挑战,以及CubeFS提供的解决方案
3.了解CubeFS未来的规划和演进
随着业务的不断发展,字节微服务规模已非常庞大,为了能够更好地观测这些服务,业务进行了大量埋点,随之而来的便是每秒写入量达到了10亿+量级的海量时序数据。本次演讲将分享我们是如何演进存储架构来应对海量时序存储的挑战。
演讲提纲:
你将获得:
数据湖是一种可拓展的技术架构,将数据存储、计算、分析、AI等能力集成整合为一款多元化的解决方案。云原生的数据湖存储技术可以从性能、可用性、可靠性、成本等多个维护支撑大数据、AI训练、模型训练、自动驾驶等多个数据湖领域的数据存储需求,腾讯云原生数据湖存储提供高性能、高可靠、高性价比的存储方案,提供数据治理的能力,帮助使用者从数据中挖掘价值。
本次演讲会分享腾讯云原生数据湖存储的架构发展应对多种业务场景下的存储挑战。
演讲提纲:
你将获得:



