大数据和AI结合的系统架构

会议室:待定
出品人:胡月军

大数据和 AI 结合应用,需要新的技术架构能力,从边缘和核心云计算节点的同步上,... 展开 >

专题出品人:胡月军

阿里巴巴计算平台资深技术专家

花名一浪,从事5年搜索和广告引擎的设计与开发,负责过阿里巴巴淘宝,天猫,1688,Sourcing 和 AliExpress 的搜索与广告在线引擎系统,主导过阿里巴巴国际搜索和广告引擎在离线的一体化升级改造。近3年来,主要从事存储与计算引擎的设计与研发工作。现就职于阿里巴巴计算平台事业部,发起和参与了阿里巴巴新一代交互式分析引擎 Hologres 的研发。

专题:大数据和AI结合的系统架构

大数据和 AI 结合应用,需要新的技术架构能力,从边缘和核心云计算节点的同步上,需要叠加升级从而更多地做数据协同运算,支撑未来各种各样的智慧城市、车联网、物联网等技术发展。

by 张晨

浙江创邻科技有限公司
创始人,CEO

图数据库是一种新兴的底层数据库技术,可以支持海量数据的实时关联、查询和计算,是新一代人工智能、认知智能的核心底层支撑技术。中国信通院 2019 年发布了图数据库白皮书,基于知识图谱、复杂异构图的各种企业级应用在公安、金融、政府、互联网等多个领域蓬勃发展,对图数据库选型的指引有迫切的需求,尤其是在各种应用场景数据和查询需求迥异的情况下。

这次演讲将全面分享图数据库选型的标准、方法和结果,涵盖了主要的多款图数据库,并结合应用场景,举例说明选型的重要性和我建议的解决方案。

演讲提纲:

  1. 图数据库的概念
  2. 常见的图数据库
  3. 查询语言和客户端支持
  4. 存储与数据格式
  5. 功能与能力比较
  6. 选型性能比较
  • 环境需求
  • 数据导入
  • 简单遍历,复杂遍历
  • 主流图 benchmarks
  • 事务支持
  1. 算法能力
  2. API 性能
  3. 大数据平台融合
  4. 选型案例

听众受益点:

  1. 全面了解当前图数据库的各种选择,形成选型的方法和思维体系。
  2. 了解各图数据库的测试比较结果,量化指导本企业根据业务和场景需求进行技术选型。

by 王耿亮

Databricks
开源组/研发工程师

Spark 3.0 将在 2020 年发布,其中包含了 Adaptive execution、Dynamic Partition Pruning、更好的深度学习支持等新功能。

Delta Lake 在过去的一年里在性能、易用性和计算引擎支持等方面有了很多提升。这个演讲会介绍主要的新功能和应用场景。

演讲提纲:

  1. Spark 3.0 的新特性介绍
  • Adaptive execution
  • Dynamic Partition Pruning
  • 更好的深度学习支持
  • Binary data source
  • 语言支持(Python 3 和 Scala 2.12)
  • 2.4版本升级到3.0须知
  1. Delta Lake 新功能介绍
  2. 功能/特性的设计思路细节介绍
  3. 用户在使用过程中遇到的坑(案例),以及我们提供的解决方法

听众受益点:

  1. 了解 Spark 3.0 和 Delta Lake 的最新功能和特性
  2. 了解升级到 Spark 3.0 和 Delta Lake 的收益和风险
  3. 了解 Spark 开源社区的未来发展方向和正在解决的问题

by 姜国强

腾讯
云架构平台部/Elasticsearch技术负责人,存储专家

Elasticsearch(ES)作为开源首选的分布式搜索分析引擎,通过一套系统轻松满足用户的日志实时分析、全文检索、时序数据分析等多种需求,大幅降低大数据时代发掘数据价值的成本。腾讯在公司内部丰富的场景中大规模使用 ES,同时联合 Elastic 公司在腾讯云上提供内核增强版的 ES 云服务。大规模、丰富的实践场景,反推着腾讯在ES内核的稳定性、成本、性能等方面不断的进行演进。

腾讯通过执行引擎优化、存储重构、线性扩展等一系列技术方案,对原生 ES 内核在高性能、低成本、可扩展性等方面进行了深入优化,目前单集群规模达到千级节点、万亿级吞吐。

演讲提纲:

  1. ES 在腾讯的广泛应用:从电商级搜索到万亿级时序数据处理;
  2. 万亿级存储系统的架构设计;
  3. 电商级搜索服务的平台建设;
  4. 开源社区贡献及未来探索;

听众受益点:

  1. 万亿级存储系统的性能 及 成本设计经验;
  2. 架构大规模、线性扩展的分布式系统的实践经验;
  3. 开源社区共建的经验。

InfoQ助你疫后复工,提升战力!全年会议门票最低5折起,立即查看>>

想要批量报名或更多优惠?
立即联系票务小姐姐 Ring
或致电:+86-15600537884