极客时间-大数据训练营|完结无秘

大数据开发工程师岗位要求

数据来源：主流招聘网站、美团等一线公司 JD

掌握一种或多种编程语言，熟悉 Linux/Unix 开发环境

熟练掌握 Hadoop、Spark 等主流大数据开发框架

熟悉 Hive、Spark SQL 等数据仓库和数据开发相关技术

熟悉 Kafka、Flink 等流式处理和实时计算框架

有分布式计算、大数据处理、数据平台和数据仓库建设经验

金澜涛，毕业于南京航空航天大学，获计算机科学与技术硕士学位。目前在国内某一线大厂担任 Spark 计算引擎负责人。此前曾就职于 eBay 中国研发中心，从事计算平台基础架构研发工作，担任 eBay OLAP 计算组技术 Leader，资深技术专家。在加入 eBay 之前，他还曾就职于阿里巴巴、美团点评等多家大厂的大数据架构部门。

金澜涛也是复旦大学计算机学院数据科学导论外聘教师，在eBay期间，也是 eBay 中国研发中心“技术大学” 的 Spark 课程讲师。他还经常参加和 Spark 有关的分享和演讲，包括国内 QCon、ArchSummit，国外的 Spark 北美峰会和欧洲峰会等知名会议。

他具有超过 9 年一线大数据平台研发经验，是多个 Apache 开源项目的活跃贡献者（Spark、Hadoop、Hive、Calcite、Parquet、Storm、Common IO 等）。

模块一：大数据的“三驾马车”：HDFS、MapReduce/YARN、HBase
模块二：大数据时代数据仓库实践：Hive
模块三：更快的数据处理引擎：Spark
模块四：重构现代化数据仓库：Spark SQL
模块五：OLAP之争：Presto、Kylin、ClickHouse
模块六：流式处理和实时计算：Kafka、Flink
模块七：数据开发体系：ETL、Data Visualization
模块八：数据湖，大数据的下一次变革：DeltaLake、Hudi、Iceberg
模块九：Hadoop、Spark 核心源码讲解
模块十：面试通关：如何成为卓越的大数据开发工程师