大数据自助平台的思考与建设

Grab 是东南亚最大的互联网 O2O 平台，业务由刚开始的打车业务，扩展到涵盖了打车、支付、送餐、地图、物流、生鲜等诸多领域。

如此快速变化的业务发展给数据工程团队带来了很多挑战，上游的数据快速增长和变化，数据团队需要快速支持数据流的变化。同时，数据量的快速增长和数据模型逐渐复杂化，我们支持下游数据分析团队可以快速的分析处理。这些驱动着我们设计端到端自助的大数据处理平台，把各类数据需求模块化，自动化，给数据用户自助服务的平台。给上下游提供平台每个环节的可见度，联通数据生产者和数据消费者。

提纲：

1、Grab 的数据架构的演化

数据平台的迭代
存储与计算引擎的挑战

2、数据平台自助化的原动力

大数据遇到微服务
多元化自助 BI 的需求

3、数据平台自助化的实践

自助数据导入平台
自助数据分析平台
自助数据导出平台

4、数据治理的思考和实践

数据质量监管平台
元数据管理

成峰，Grab Data Engineering Lead，主导 Grab 大数据平台开发和维护。8 年 Data Geek，经历了 Oracle RAC，MPP，Hadoop 到如今 Spark/Presto 储存与计算分离的架构演变。

现在就职 Grab 新加坡，专注于的 Data Lake，数据平台，数据治理的研发工作。参与并主导了数据平台的端到端自助平台化的研发。

 

 

 

时间:2019-08-16 22:18  来源:    转发量:次