Hadoop 开发工程师一般是做什么工作的？是做 Hadoop 的架构还是基于 Hadoop 的开发？求解。

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 2544 天前的主题，其中的信息可能已经有所发展或是发生改变。

如题，应届生的小疑问。

hadoop

求解

开发

应届

6 条回复 • 2017-12-05 14:17:02 +08:00

mringg

2017-12-05 10:51:29 +08:00

跑跑 hive，写写 mapreduce，spark job

Kirto

2017-12-05 11:34:44 +08:00

@mringg 诶，我本来以为是部署集群什么的。

dabney777

2017-12-05 11:36:00 +08:00

@Kirto 集群部署一次不就够了天天部署谁受得了前几年会写 mapreduce 的就可以进这两年难一点

hugedata

2017-12-05 14:07:22 +08:00

Hadoop 开发也得懂一点儿运维。得了解体系的运行，包括作业调优。不过现在没啥人写 MR 了，大部分都是 spark sql 或者 Hive SQL，HBase 也大多数都用 Hive 映射后来管理了，不过对业务了解不多的话，前期设计表的时候可能不一定会最优，从而会导致后期使用数据的时候比较麻烦。

Kirto

2017-12-05 14:15:23 +08:00

@dabney777 做这方面发展怎么样吖？以后是做架构么？

paradoxs

2017-12-05 14:17:02 +08:00

@hugedata sparl sql 也不会天天写吧，感觉活不多？