基于Spark技术的数据服务架构演化和稳定性改进
胡泽行
大数据中心数据智能团队数据组负责人
负责归户等数据加工&API服务,同时维护部门Hadoop 集群。曾任职网易有道,微策略,一点资讯等公司,对于Hadoop集群优化,大数据应用开发和问题排查有一定经验。
1.数据智能团队归户服务的由来,数据流转的整个流程
2.对 Spark Streaming和数据API接口的稳定性改进
3.使用JStack,JMap,MAT ,JVisualVM 等工具排查和解决问题
1.了解数据服务的设计
2.获得大数据应用的开发经验,避开一些常见的坑
3.获得Spark/Spark Streaming/MapReduce 等问题排查经验