图灵汇官网

2013年，大数据刚刚兴起，许多程序员通过学习大数据技术，在职业道路上实现了升职加薪。当时，只要懂得Hadoop和HQL，工资翻倍并不是难事。

然而，如今已是2022年。仅仅依靠一项技能已不足以转向大数据领域。

有几个原因导致了这种情况：

1. 数据开发平台逐渐成熟。普通开发者能够在没有专业数据开发者介入的情况下完成大部分的大数据开发任务，因此单一简单的技能已经不再是主流需求。
2. 市场趋于饱和，红利期已过，对数据开发人员的要求也越来越高。
3. 各类培训机构批量生产了大量大数据人才，个体难以与这些经过系统培训的职业人士竞争。
4. 市场对于大数据的需求不再像几年前那样高涨，薪资待遇也趋于平稳，普通工程师的定位更为普遍。

但这并不意味着我们不能进入大数据领域。相反，我们应该将大数据技能作为日常技能的一部分，就像MySQL和Oracle一样。我们需要改变对大数据的认知，不应将其视为单一技能或救命稻草。大数据应被视为一种态度和常态，即利用数据解决问题，运用数据分析工具洞察商业潜力。

当然，这并不意味着我们只需掌握大数据工程师的技能。数据开发岗位的细分和复杂性使得单一技能已不再足够。数据开发岗位可以分为纵向的几个阶段：数据采集工程师、ETL工程师、数据仓库工程师、算法工程师和数据分析师。此外，还有横向的多个岗位，如大数据运维工程师、大数据平台开发工程师、数据治理架构师、数据服务架构师和大数据系统架构师等，它们共同支撑着整个数据开发流程的高效开发和维护。

那么，如果想要转型，需要哪些技能呢？

大数据的发展通常有三条路径：

1. 主线：服务支持线（新手不太受欢迎）

   • 大数据运维工程师 -> 大数据平台开发工程师 -> 大数据系统架构师 -> 大数据框架开发工程师
   • 必备技能：Linux，Hadoop、Spark、Flink集群，Hive，Zookeeper，HBase，kafka，Flume
   • 可选技能：各种框架源代码
   • 编程语言：Java、Scala、shell、Python
   • 建议：先学习基本的大数据集群维护技巧，编写一些shell脚本，使用定时调度功能；学会使用平台工具进行监控和维护，参与平台开发和工具开发；重组或改进现有的系统架构和框架。

2. 主线：数据仓库线（新手较为友好）

   • 数据采集工程师 -> ETL工程师 -> 数据治理架构师 -> 数据服务架构师
   • 必备技能：HiveSQL，SparkSQL，FlinkSQL，Kafka，数仓建模
   • 可选技能：分布式一致性算法、JVM调优、MapReduce
   • 编程语言：Scala，SQL，Java

3. 主线：数据挖掘线（分析能力强的人依然很受欢迎）

   • 数据工程师 -> 数据算法工程师 -> 数据分析师
   • 必备技能：可视化技术、SQL、统计学、概率论、智能优化、机器学习工具（Tensorflow、scikit-learn）
   • 可选技能：caffee、pytorch、OpenCV
   • 编程语言：Python

关于是否应该学习Scala，Scala是Spark的主要实现语言，但也有大神使用PySpark来处理一些数据任务。Python则是数据抓取和机器学习的重要工具，R语言则更多用于数据探索和可视化，而Java是Hadoop套件的基础语言，熟悉Java有助于更好地管理资源分配。

总结来说，大数据领域依然具有吸引力，但仅靠单一技能已经无法实现转型。大数据高端人才对行业发展的推动作用越来越大，你依然有机会。

希望这些信息对你有所帮助！