这是一个创建于 2178 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近我们公司的项目也差不多快接近尾声了, 所以从这个月开始我们公司要我们慢慢的转 hive,去做报表分析. 从我现在做的来看的话,公司已经把整个大数据的框架已经做好了,要我们做的东西就是让我们在平台上面写写 sql, 然后把报表用 hive 给做出来
所以我现在就在考虑要不要乘着个机会转大数据, 把大数据的各个框架都去研究一下,以后好找这方面的工作.
但是,问题来了, 万一到时候我在大数据上面浪费了半年, 甚至一年的时间去做大数据, 后来发现学了根本没有卵用, 去外面根本找不到好的工作,而目前的公司也只要我会写 hive 的 sql 就够了,那这我浪费了一年的时间去整这个没有什么用的东西不是很亏?
我是 16 年毕业的经济学专业的,自学的 java,做的 java 开发,平时对技术还是很热爱的,如果不加班就是在家里学技术了,也希望自己能成为一个像各位一样的精英.
所以对自己的未来究竟能怎么样还是很纠结的,希望各位能指点一下,谢谢
 |
1
liprais 2018-11-30 00:16:44 +08:00
这俩不冲突
|
 |
3
xiaoshenke 2018-11-30 01:28:49 +08:00 via Android
写 hive 和 sql 我并不认可为大数据开发，你还是先把 java 学好吧
|
 |
4
noqwerty 2018-11-30 03:32:04 +08:00 via Android
公司工作不忙，不正好是学新东西提高自己的机会吗
|
 |
5
CoderHugo 2018-11-30 03:57:27 +08:00
正好我软工刚毕业，有个风控老板让我做他贴身助理，老哥怎么看这类工作的啊。。。
我帮他办公还行，经济学知识完全没有，而且感觉助理啥也学不到，不像写代码跟着做了项目还能吹一吹。。 |
 |
6
p2pCoder 2018-11-30 07:47:19 +08:00 via Android
这是数仓 BI 开发吧
|
 |
7
myhot21 2018-11-30 08:13:01 +08:00 via Android
这两个并不冲突。
|
 |
8
younfor 2018-11-30 08:28:25 +08:00
这个所谓的大数据开发，就是写 SQL。接触不到底层技术，说出来可能是 BI 开发 ，其实就是埋在业务量写 SQL。我之前写了半年逃出来了。哎。不过现在还是在做 Java 开发。人生啊，好艰难（想爆哭
|
 |
9
neimenggudehai 2018-11-30 08:30:01 +08:00
支持 younfor，大数据最后还要落实到编码上，学好 java 是根基，然后大数据什么火，就去捞一下
|
 |
10
luozhiyun OP @younfor 我也知道这单纯的写 sql 没啥意思，只是说，要不要自己把整个大数据体系学习一遍。但是就怕出现丢了西瓜，捡了芝麻这种情况，到头来啥都不精
|
 |
11
VoidChen 2018-11-30 08:53:52 +08:00
给你说个实话，大数据的话 hive 只是冰山一角，我最近从 storm 转 spark，hive 花了 1 天就会用了（我是有用过 hdfs 和 hbase 所以比较快上手，算是一年大数据经验吧）
|
|
12
VoidChen 2018-11-30 08:56:06 +08:00
另外现在很多 java 也要会一点大数据的组件了，solr，hbase，redis 那些，自己有空得看一下
|
 |
13
Bryan0Z 2018-11-30 08:59:50 +08:00 via Android
Java 是大数据开发的基础，hbase, influxdb，kafka,refis,hive 一大堆框架，虽然看着多，但是基本就是一天入门，没那么难学
|
 |
14
dalieba 2018-11-30 10:02:44 +08:00 via Android
上 Kotlin
|
 |
15
wqzjk393 2018-11-30 10:03:21 +08:00
大数据开发和 sql 这些关系不大，大数据开发岗大部分还是以搭建 hadoop 环境和 hivespark 等等插件和性能调优为主，而且多是 java 开发的。sql 这些更偏向数据处理方向的，分析挖掘这些，以后深入的话接触的是挖掘模型和算法，而不是 java 框架。所以还是看你自己想法了
|
 |
16
ipwx 2018-11-30 10:17:19 +08:00
框架年年都有新。算法才是永恒的。
|
|
17
luozhiyun OP @dalieba 老铁 , Kotlin 现在普及不是很广唉, 我也看了语法, 让我去掌握的话,估计三天就可以搞个七七八八 ,问题不大
|
|
18
luozhiyun OP @wqzjk393 算法这些,当然是感兴趣的, 算法我在 leetcode 上也有没事就去做做的冲动 ,但是就我目前做 hive 来看, 和算法关系不大啊, 只是各种创建临时表, 数据倒来倒去, 函数调来调去, hive 也不能像存储过程一样 可以写 if else ,游标这些东西 ,还是比较无聊的, 我还是比较喜欢研究一样 netty , dubbo 这些源码来的有意思
|
 |
19
cyspy 2018-11-30 10:32:43 +08:00
十分理解大家都爱造轮子，可是如果 BI 不算大数据的话什么叫大数据？参与框架的全国一共有多少人？
|
 |
20
gaius 2018-11-30 11:05:33 +08:00
不冲突的吧
|
 |
21
leiuu 2018-11-30 11:15:45 +08:00
这俩不冲突，hive 基于 hadoop、hadoop 是基于 JAVA 的。用的深入了可能需要 JVM 调优。这些都是 JAVA 的范畴。
说一个可怕的事，然后你可能还得顺便掌握其他编程语言：scala、python、bash。底层一点的就得 c、c++了。 所以可以保证先有的一定广度，比如 hive、spark、impala、redis、hbase、flume、kafka 等用熟悉，会调优（官网都会有 tuning guide ）。楼上说一天入门我感觉太厉害了...这一套两三年用熟就厉害了。 |
|
22
luozhiyun OP @leiuu 他意思是会用吧, 我们这周一的时候 培训 hive ,两小时不到, 领导就过来拍拍我的肩膀说, 是不是可以开发了 ,哭笑不得 ~
|
 |
24
laike9m 2018-11-30 12:30:10 +08:00 via Android  1
精英是不会被语言和技术绑死的
|
|
25
VoidChen 2018-11-30 13:33:59 +08:00
@leiuu 是会用 hive，其他我都用了 1 年了，正在学 scala，scala+spark 一周上手开发，全归功于 java 功底= =
|
 |
26
wizardoz 2018-11-30 14:17:30 +08:00
深耕 Java 什么鬼？
|
 |
28
binge 2018-11-30 17:09:27 +08:00
两者不冲突，要深耕的不是工具的使用，而是什么时候用什么技术解决什么样的问题
|
 |
29
daimazha 2018-11-30 17:32:31 +08:00
现在后端基本上都会点 storm hbase 等大数据框架
|
 |
30
jbiao520 2018-11-30 21:50:02 +08:00
这俩不冲突的，大数据框架就是 java 或者 scala 写的
|
Select Language