消费金融行业大数据平台任务调度系统设计与实践

所属专题:大数据实践与应用

嘉宾 : 胡东森 | 中邮消费金融基础平台负责人

会议室 : 宴会厅2

讲师介绍

专题演讲嘉宾:胡东森

中邮消费金融基础平台负责人

目前主要负责湖仓一体和存算分离的大数据平台架构演进和落地。曾带领团队完成大数据统一调度服务平台、大数据多维分析平台研发和搭建、贷后数据智能化的应用分析平台研发、客户画像准实时数仓研发,稳定支撑了营销、风险、贷后场景等应用指标计算和分析; 擅长领域有大数据基础平台建设、大数据统一调度平台建设、OLAP 多维分析平台建设等。

议题介绍

演讲:消费金融行业大数据平台任务调度系统设计与实践

在数字化转型大潮中,大数据平台作为数据驱动的基础设施已经成为了行业的必选题。大数据任务调度系统负责数据领域所有离线任务的编排调度,是大数据平台的重要组成部分。从传统数仓到湖仓一体大数据平台演变过程中,调度系统也经历了多次迭代演进,随着任务量变大,调度系统面临调度性能变差和稳定性降低等诸多问题。

本次我将分享中邮消费金融大数据任务调度系统,在面向金融的场景下高性能和高可用等方面的挑战和建设经验。

演讲提纲:

  1. 背景介绍
    • 中邮大数据调度系统发展历程及遇到的问题
    • 金融级任务调度系统架构选型介绍
  2. 架构设计
    • 采集工具集成和扩展
    • 任务依赖血缘分析设计
    • 任务监控设计
    • 任务编排设计
    • 高可用分布式设计
  3. 大数据调度系统应用实践
    • 支撑离线湖仓加工应用
    • 支撑营销策略应用
    • 支撑 Oneservice 应用
  4. 未来规划思路
    • 多模引擎适配
    • 基于事件驱动的任务调度优化
    • 跨集群混合资源弹性调度优化

你将获得:

  • 了解金融级大数据调度系统建设的关键功能设计
  • 了解大数据调度系统在平台演进过程中的技术选型、问题解决等方面经验
  • 了解大数据调度系统在消费金融离线湖仓加工、智能营销、Oneservice 开放服务的应用及实践

交通指南

深圳·大中华喜来登酒店

Sheraton Shenzhen Futian Hotel
地址:中国广东省深圳市福田区福华路福华路大中华国际交易广场
票务小姐姐