不太了解,对大数据方向挺感兴趣的,
求各位在大数据领域进行讨生活的各位大佬给解解惑
1
dif 2018-06-26 10:39:59 +08:00 1
刷 v2ex,看知乎,出去吹牛皮。。
|
2
sunzhenyucn OP @dif lol,不会吧,这么闲的吗??
|
3
loryyang 2018-06-26 10:43:47 +08:00 1
工程方向就是维护下一些框架,做些升级,然后偏业务的就是开发业务相关逻辑,出个报表,出个数据什么的
或者给机器学习跑点数据和特征 |
4
sunzhenyucn OP @loryyang 万分感谢🙏
|
5
tingyunsay 2018-06-26 10:54:37 +08:00 1
写他么的 hql(;´༎ຶД༎ຶ`)
|
6
mkstring 2018-06-26 10:59:46 +08:00 2
写大量的 SQL,偶尔写 MR
|
7
VoidChen 2018-06-26 11:00:22 +08:00
我只说我做的。。。搞下集群,部署搭建和问题检查什么的,然后跟某重本合作拿来一些业务类型的算法去做实现,优化校准,还有就是偶尔遇到一些问题(内存不够或者计算不够快或者统计数量大),去看开源拆算法搞来用,杂七杂八的。其实跟写 java 差不多啦,可能是因为毕业半年多,学的用的还比较浅(不过用的全,常用的基本都用过了)
|
8
wwek 2018-06-26 11:08:52 +08:00
数据清洗 结构化 ETL 写 HQL
|
9
sunzhenyucn OP |
10
liyer 2018-06-26 11:45:03 +08:00
爬数据,入库,去噪,打标签,分析
|
11
deepreader 2018-06-26 12:33:05 +08:00
数据清理,做 PPT。
|
12
wtf94666 2018-06-26 13:03:20 +08:00 via Android
我是设计 我感觉我公司的工程师们都在刷蔚蓝航线
|
13
sudoz 2018-06-26 13:05:46 +08:00
总而言之就是没什么意思
|
15
SuperMild 2018-06-26 13:53:34 +08:00
据说就是洗数据……不管哪个领域,都是站在高位置的人才有差别,底下全是搬砖,体力活。
|
16
zynlp 2018-06-26 13:53:45 +08:00 via iPhone
纳尼?只有我这么忙吗,只能蹲坑的时候刷下 v2😭
搞了一个礼拜的 cuda 了,整个人都粗大了 |
19
VoidChen 2018-06-26 14:25:17 +08:00
回复的时候看了下,怎么好像基本都是数据清洗?我主要做的是 storm 流处理,基础的数据清洗就只是在源头那里架一个 bolt 过滤掉就好了(包括一些修正),怎么好像不太一样?朋友里面没有做大数据的,所以不是很清楚情况,借个楼问下。。。万一以后跳槽别人一问不知道就不好了😭
|
21
chi1st 2018-06-26 14:27:44 +08:00
写后端。。。
|
22
lastpass 2018-06-26 14:29:19 +08:00 via Android
清洗数据,造轮子。
|
23
ren2881971 2018-06-26 14:29:23 +08:00 1
坐我旁边的就是搞数据的,各种 ETL 抽取、清洗 、转换 出报表。
自从有了他,报表错误的锅再也不是我背了。。。 |
24
jasonchen168 2018-06-26 14:33:30 +08:00
怎么转的啊?必备基本技能是什么
|
25
applehater 2018-06-26 15:54:22 +08:00 via iPhone
比一般业务少了“改”只有“增删查”。
|
26
zhusimaji 2018-06-26 15:56:53 +08:00
sql 清洗数据---构造模型---spark 计算
|
27
lius931115 2018-06-26 16:05:53 +08:00
写 spark SQL 和 spark Streaming 的多吗? 各位大佬们!
|
28
hackpro 2018-06-26 16:38:18 +08:00
60%以上的时间在 Data Cleaning 俗称 Data Augument
|
29
bk201 2018-06-26 17:06:05 +08:00 1
@applehater 你这理解有问题,和 CURD 无关,大多数都是统计计算,非要关联的话就是查
|
30
superbiger 2018-06-26 17:34:43 +08:00
大量 sql,很多正则,说是计算全是过滤
|
31
arctanx 2018-06-26 17:36:33 +08:00
爬虫->mongodb->elasticsearch->网站后端
...我都不知道我算不算大数据码农 |
32
defunct9 2018-06-26 17:41:53 +08:00
吃饭,睡觉,打豆豆
|
34
WinMain 2018-06-26 18:07:15 +08:00
我们组那位大数据童鞋用 spark 等工具处理 kafka 等地方的数据,出报表,比如 app 相关的点击率,转化率,时常统计等,还有给推荐算法搜索算法童鞋做点数据前期处理的工作。
|
35
renzongxian 2018-06-26 18:24:10 +08:00 via iPhone
用 HQL、MR 处理数据,ETL,找 bug,改 bug
|
36
fuyufjh 2018-06-26 21:49:39 +08:00 via Android
大部分是 ETL 工程师,少部分是写框架的
|
37
z3jjlzt 2018-06-27 08:56:22 +08:00
sql curd 只有 r。
|