wxya（个人网站）市场就业
离线有hadoop（hdfs yarn hive hbase），spark，实时有flink。还有一些中间件比如zookeeper，kafka。上层应用还有clickhouse，elasticsearch等。
大数据涉及的知识面广度还是有的，需要学习的组件繁多，想要每一项精通几乎不可能，所以企业在招聘的时候会进行细分，基于某个方向进行招聘，比如关键字，数据仓库工程师、数据治理工程师、大数据开发工程师、大数据算法工程师、ETL工程师等。我们在学习的时候也要有所侧重，保证自己兴趣所致并重点关注。
ETL工程师
ETL：数据抽取、转换、加载
ETL工作属于业务与数据的交点、需要处理上下游的关系，首先，需要对业务层面非常熟悉，其次，需要对接数据开发工程师、数据科学家，整理并准备数据、进行数据清洗、整理、融合。
数据仓库工程师
数仓会细化离线数仓和实时数仓、目前离线数仓方向发展的已经很成熟了，实时数仓是未来趋势和方向。
数据治理工程师（国企岗位居多）
数据治理的工作内容主要是对数据进行分类处理、指标整理、熟悉业务流程。
基
大数据开发工程师
大数据开发需要有良好的Java后端开发能力以及不错的源码阅读能力
Loading...