大数据和AI结合的系统架构

会议室:大宴会厅3
出品人:胡月军

大数据和 AI 结合应用,需要新的技术架构能力,从边缘和核心云计算节点的同步上,... 展开 >

专题出品人:胡月军

阿里巴巴计算平台资深技术专家

花名一浪,从事5年搜索和广告引擎的设计与开发,负责过阿里巴巴淘宝,天猫,1688,Sourcing 和 AliExpress 的搜索与广告在线引擎系统,主导过阿里巴巴国际搜索和广告引擎在离线的一体化升级改造。近3年来,主要从事存储与计算引擎的设计与研发工作。现就职于阿里巴巴计算平台事业部,发起和参与了阿里巴巴新一代交互式分析引擎 Hologres 的研发。

地点:大宴会厅3

专题:大数据和AI结合的系统架构

大数据和 AI 结合应用,需要新的技术架构能力,从边缘和核心云计算节点的同步上,需要叠加升级从而更多地做数据协同运算,支撑未来各种各样的智慧城市、车联网、物联网等技术发展。

by 杨旭 博士

阿里巴巴
计算平台事业部/资深算法专家

随着大数据时代的到来和人工智能的崛起,机器学习所能处理的场景更加广泛和多样。构建的模型需要对批量数据进行处理,为了达到实时性的要求还需要直接对流式数据进行实时预测,还要具备将模型应用在企业应用和微服务上能力。为了取得更好的业务效果,算法工程师们需要尝试更多更复杂的模型,需要处理更大的数据集,使用分布式集群已经成为常态;为了及时对市场的变化进行反应,越来越多的业务选用在线学习方式直接处理流式数据、实时更新模型。

演讲提纲:

  1. 平台简介
  2. 平台的应用场景
  3. 平台架构
  4. 流式应用案例
  5. 如何获取开源版本
  6. 未来规划

听众受益点:

  1. 流式机器学习场景的典型解决方案
  2. 通过开源版本,可以快速尝试

by 姜国强

腾讯
云架构平台部/Elasticsearch技术负责人,存储专家

Elasticsearch(ES)作为首选的开源分布式搜索分析引擎,通过一套系统轻松满足用户的日志实时分析、全文检索、时序数据分析等多种需求,大幅降低大数据时代发掘数据价值的成本。腾讯在公司内部丰富的场景中大规模使用 ES,同时联合 Elastic 公司在腾讯云上提供内核增强版的 ES 云服务。大规模、丰富的实践场景,反推着腾讯在 ES 内核的稳定性、成本、性能等方面不断的进行演进。

腾讯通过执行引擎优化、存储重构、线性扩展等一系列技术方案,对原生 ES 内核在高性能、低成本、可扩展性等方面进行了深入优化,目前单集群规模达到千级节点、万亿级吞吐。

演讲提纲:

  1. ES 在腾讯的广泛应用:从电商级搜索到万亿级时序数据处理;
  2. 万亿级存储系统的架构设计;
  3. 电商级搜索服务的平台建设;
  4. 开源社区贡献及未来探索;

听众受益点:

  1. 万亿级存储系统的性能 及 成本设计经验;
  2. 架构大规模、线性扩展的分布式系统的实践经验;
  3. 开源社区共建的经验。

by 王耿亮

Databricks
开源组/研发工程师

Spark 3.0 将在 2020 年发布,其中包含了 Adaptive execution、Dynamic Partition Pruning、更好的深度学习支持等新功能。

Delta Lake 在过去的一年里在性能、易用性和计算引擎支持等方面有了很多提升。这个演讲会介绍主要的新功能和应用场景。

演讲提纲:

  1. Spark 3.0 的新特性介绍
  • Adaptive execution
  • Dynamic Partition Pruning
  • 更好的深度学习支持
  • Binary data source
  • 语言支持(Python 3 和 Scala 2.12)
  • 2.4版本升级到3.0须知
  1. Delta Lake 新功能介绍
  2. 功能/特性的设计思路细节介绍
  3. 用户在使用过程中遇到的坑(案例),以及我们提供的解决方法

听众受益点:

  1. 了解 Spark 3.0 和 Delta Lake 的最新功能和特性
  2. 了解升级到 Spark 3.0 和 Delta Lake 的收益和风险
  3. 了解 Spark 开源社区的未来发展方向和正在解决的问题

by 王烽

华为技术有限公司
边缘云创新Lab/主任工程师

相对于自建集群进行 AI 训练和推理,公有云 AI 服务门槛低、更易用、成本更低,但是要求将用户数据上传到公有云,这带来了数据隐私、传输带宽和响应时延等方面的担心。因此,边缘 AI 越来越被业界重视。当前边缘AI的主流模式是“云上训练,端边侧推理”,但是边侧模型性能受限于资源,训练数据仍需上云,另外边侧模型同质,效果不能达到最佳。面对边缘资源受限、地理分布、数据有偏、场景化等特点。

本议题将介绍一个基于开源 KubeEdge 平台的边云协同 AI 框架 SolarCorona,提供边云协同推理和边云协同训练能力,能快速开发具备边云系统 AI 能力的边缘应用,在边侧资源受限、小样本冷启动、数据隐私保护条件下,显著提升模型推理准确度10~20%。SolarCorona 框架包括多目标模型组的生成、边侧模型增量学习和边侧数据不满足 IID 条件时的联邦迁移学习等特性。

演讲提纲:

  1. 边缘 AI 现状与技术挑战
  2. 边云协同 AI 框架 SolarCorona 架构:
    • 云上管理服务
    • 云上 AI 后台(微服务)
    • 边侧 AI 前台(微服务或SDK)
  3. 边云多模型协同推理微服务
  4. 边云协同训练微服务
  5. 案例介绍
    • 某智能摄像头的安全帽检测场景准确率提升
    • 某办公园区楼宇中央空调冷机能耗预测准确率提升

听众受益点:

  1. 了解边缘 AI 的应用场景、价值和技术挑战,与传统离线 AI 和云上 AI 应用的差异;
  2. 了解边云协同 AI 框架 SolarCorona 框架,以及如何基于此框架开发具备边云协同 AI 能力的应用;
  3. 了解边云协同推理和训练模式对当前边缘 AI“云上训练,端边推理”模式的效果提升,并了解一些关键技术方案。
想要批量报名或更多优惠?
立即联系票务小姐姐 Ring
或致电:+86-15600537884