大数据平台技术快速迭代，大数据平台的架构环境变得日趋繁杂。不同组件间复杂的版本依赖和调用关系，上层工具应用和底层引擎间的 CS 紧耦合模式，组件间用户资源和上下文环境的彼此割裂，各种治理管控共性功能在不同组件中的重复开发等问题，给大数据平台的建设和运维带来了愈发严重的挑战，用户体验也受到影响。

在这种情况下，微众银行基于开源+自研，构建了 WeDataSphere 大数据平台套件，打造计算中间件层，让众多上层工具应用和底层引擎间的调用关系变得更加简化和解耦；提供治理管控共性功能的跨组件复用能力；打通不同数据应用组件间上下文环境，提供更连通融合易用易管的用户体验；让数据应用开发的规范、经验，更好的沉淀到应用开发工具中去。

实施效果：通过 WeDataSphere 大数据平台套件的构建和应用，在银行金融业务场景替代了 Oracle、SAS 等传统解决方案，在降低成本的同时提升了效率和自主可控性。其中部分关键组件如 Linkis、DataSphereStudio 等已经开源，受到开源社区用户的肯定和好评。

演讲提纲：

1. 大数据平台的使用痛点：
   • 紧耦合问题，上层应用和底层计算存储引擎间的 CS连接模式；
   • 重复造轮子问题，每个上层应用工具系统都要重复解决计算治理问题；
   • 扩展难问题，上层应用新增对接底层计算引擎，维护成本高，改动大；
   • 应用孤岛问题，跨不同应用工具、不同计算任务间的互通问题；
   • 数据治理与应用开发规范化标准化问题。
2. 新型大数据平台的设计理念及思路
   • 设计理念
     • 抽象作业提交执行流程解耦简化
     • AppJoint 设计灵活串联不同系统
     • 公共增强服务设计快速复用
     • 强大中间层治理管控能力设计灵活可控
   • 技术难点
     • 高并发高性能高可用
     • 低耦合高可扩展
     • 资源权限多级隔离管控
     • 前后端组件化复用
3. 应用实施效果
   • 实践案例一：银行核心系统批处理替代 Oracle
   • 实践案例二：银行风控建模替代 SAS
4. 开源社区合作伙伴的应用效果反馈
   • 开源不到1年已有200多家公司使用，19家主动反馈已上生产

听众受益点：

1. 了解如何让众多上层工具应用和底层引擎间的调用关系变得更加简化和解耦；
2. 了解如何复用引擎连接、多租户管控、等计算治理层能力，降低上层工具应用组件开发运维成本；
3. 了解如何打通组件间的用户上下文环境，提供更连通融合易用的用户体验；