负责字节跳动数据质量、资源优化等大数据领域的数据治理平台的研发工作,在海量数据场景下的存储资源治理、任务资源治理、数据SLA保障、离线及流式数据监控等场景上拥有较多的平台化、系统化解决经验。

负责字节跳动数据质量、资源优化等大数据领域的数据治理平台的研发工作,在海量数据场景下的存储资源治理、任务资源治理、数据SLA保障、离线及流式数据监控等场景上拥有较多的平台化、系统化解决经验。
数据治理存在落地困难的问题,体现在很多地方。首先,治理效益与业务影响存在矛盾。数据治理需要对业务系统、生产流程进行改造,由此对业务造成影响。其次,治理涉及的组织和管理难度大,数据治理涉及的角色多、范围广、链路长,且治理目标对齐、管理和跟进难度大。
第三,规范“人”的动作难度大。数据治理要依靠人来推进和执行,人员能力参差不齐,组织文化、目标也存在不对齐的情况。
第四,缺乏适配性强、全局视角且灵活的数据治理工具。
数据治理在字节跳动内部是挑战机遇与并存的工作。针对上述问题,综合考虑治理收益、业务影响、执行效率,字节跳动提出了分布式数据自治的思路,保证了在业务影响方面,为保证影响小,治理工作按照业务单元进行。一个业务单元可能是一个小团队或者是一个小项目。
演讲提纲:
你将获得:



