1
lasuar 2019-05-28 14:22:35 +08:00 1
既然你喜欢 Python,那何不做个高级 Pyer 呢;
如果你所在的城市有不少的 python 岗,那就把 django 玩透,再熟悉一下 mysql/redis/mongo,再看点架构设计文档找后端岗不是轻松吗。 |
2
rogwan 2019-05-28 14:26:14 +08:00 via Android 1
爬虫+数据分析的组合,还是前景广阔的。光爬回来,不会分析数据,也还欠缺了点。
|
3
janxin 2019-05-28 14:28:21 +08:00 1
大数据工程师呀
|
4
fank99 OP |
5
wersonliu9527 2019-05-28 14:38:14 +08:00 2
我也是自学了,入职爬虫一年出头,中途也去面了几次后端。基本上都问 mysql 优化问题,大量数据时怎么处理。我说了些理论上的查表优化,接口数据缓存。基本上没下文。还在继续写 xpath 0.0
|
6
andylsr 2019-05-28 14:39:06 +08:00 via Android 1
把爬虫做成一个可扩展的系统呗~一个后台管理全部爬虫任务,基本功能:添加,暂停,删除爬虫,爬虫节点动态扩展,其中会涉及集群操作的很多知识~~
|
7
SleipniR 2019-05-28 14:39:36 +08:00 2
对 Python 开发来说,大数据现在一般指 Hadoop/HDFS/ElasticSearch/Kafka/Spark 这个系列的技能,数据分析指 Nympy/Scipy/Pandas/Matploitlib 这个系列的技能。
|
8
fank99 OP @wersonliu9527 握手
|
10
fairyto2 2019-05-28 14:45:40 +08:00
@SleipniR 数据分析更重要的是数学建模能力吧,那些只是工具,我会用 sql 会用 excel 也一样能完成任务,但是不会数学不行
|
11
QQ2171775959 2019-05-28 14:48:11 +08:00
这个是需要一个多 IP 和站群服务器来支撑的,那样子的话优化才能起到作用。
|
12
binux 2019-05-28 14:55:20 +08:00 via iPhone
去百度,google
|
13
tt67wq 2019-05-28 14:56:02 +08:00
成为一个光荣的运维狗
|
14
BadReese 2019-05-28 15:06:40 +08:00
转近战猎人
|
15
araraloren 2019-05-28 15:15:29 +08:00
转职可以考虑大数据师,技能多,全是 AOE 伤害,就是有点耗蓝
|
16
abb1513 2019-05-28 15:32:07 +08:00
成为一个光荣的运维狗 +1
|
17
Takamine 2019-05-28 15:35:05 +08:00
要么继续走爬虫到 BI 的路,要么转 Web 吧。
我比较推荐前者,诶嘿嘿诶嘿嘿。:rocket: |
18
DAPTX4869 2019-05-28 15:40:36 +08:00
成为一个光荣的运维狗 +2
|
19
tikazyq 2019-05-28 15:41:43 +08:00
想要节省爬虫的编写时间,可以参考一下我的开源爬虫平台 Crawlab, https: // github.com/ tikazyq/crawlab
Crawlab 是一个专注于爬虫的集成了爬虫管理、任务调度、任务监控、数据分析等模块的分布式爬虫管理平台,非常适合对爬虫管理、爬虫工程化有要求的开发者及企业。 最近开发的可配置爬虫正好解决你配置爬虫的问题,1-3 分钟编写好一个可运行的爬虫。 [我是如何在 3 分钟内开发完一个爬虫的]( https: // juejin.im /post/5ceb4342f265da1bc8540660) |
20
qq976739120 2019-05-28 15:50:10 +08:00
趁年轻,推荐转 java 或者前端 ----杭州 pyer 的忠告
|
21
collector 2019-05-28 16:01:06 +08:00
我也是学习的 python,身边很多人都在用 python 做一些简单的数据分析,根据和他们的交流,他们工作的技术含量不是特别的高,但是目前招聘有提高要求的趋势,web 方面的需求不大,有个在 P2P 做过的,做 flask+数据分析来展示数据的平台,其他的都是不算太难的处理表格的,爬虫的说实话,也没有多少人在做,人在上海,希望和楼主多交流,python 市场还是有点小
|
22
collector 2019-05-28 16:02:34 +08:00
@qq976739120 前端现在不是培训班批量生产吗?请问 python 在杭州的行情如何?
|
23
qq976739120 2019-05-28 16:04:48 +08:00
@collector 我刚从上海来....来之前也觉得上海市场小,到了杭州发现上海好的多的多
|
24
collector 2019-05-28 16:10:28 +08:00
@qq976739120 我曾经想过要去杭州发展呢。。。看来 python 做主力还是差点啊,快要换工作了,压力好大
|
25
la2la 2019-05-28 16:16:44 +08:00
跟我现在的感觉一模一样,爬虫做多了没意思。简单的网站就是体力活,复杂的验证码涉及到机器学习搞不了。目前我打算 学习一下 java,走大数据路线,不知道是否可行。数据分析我也尝试过,发现知道如何建模,比如何使用 pandas 等这些工具更重要,有点烦
|
26
lasuar 2019-05-28 16:30:52 +08:00
|
27
collector 2019-05-28 16:32:13 +08:00
@la2la 涉及建模就贴近机器学习那边了,对算法和数学要求就高了,间接的对学历要求就高了。。我也打算往大数据发展的。。
|
28
ksedz 2019-05-28 16:36:02 +08:00
不建议转 web
可以考虑大数据、机器学习、转 golang 有机会的话转 Java、C++ 也行 |
31
collector 2019-05-28 16:49:51 +08:00
@tikazyq 反爬手段越来越多也越来越高级,做到后面必然涉及到机器学习了,而且爬虫只是获取数据的方式,有了数据又要分析,这又要到数据分析了,所以最后爬虫还是要转的,我是这样觉得的
|
33
NaVient 2019-05-28 17:02:05 +08:00
欢迎成为运维开发
|
34
fank99 OP @qq976739120 谢谢,也考虑过 java。不过是不是 python 转 Golang 比 java 更顺滑一些?
@collector 人在成都,上海 Python web 应该比成都好找很多吧? @la2la 同烦,苦恼 @lasuar 谢谢 @ksedz 可以具体说下不建议做 web 的原因吗? |
35
fank99 OP |
36
NaVient 2019-05-28 17:50:09 +08:00
@fank99 #35 之前与你有一样的困惑,现在转做 DevOps 其实大多数时候还是开发,前后端一把梭,只是偏向于内部运维系统,在开发这种系统的时候慢慢学运维就会有感觉了。
|
38
SpiderXiantang 2019-05-28 19:14:44 +08:00
Java 后端
|
39
SpiderXiantang 2019-05-28 19:15:04 +08:00
看我 ID 现在在上海做后端 。。。。
|
40
lucays 2019-05-28 19:45:40 +08:00 via Android
我工作一年半主要写写 scrapy, 其他的 django, flask 都做过还做过一点自然语言处理调包的项目…感觉不行爬虫太无聊,骑驴找马找了一个月才成功转了 web 后端…个人感觉自己还是比较失败的😔我还在上海…还找了这么久,boss 和拉勾很多公司一点都不靠谱
|
41
sazima 2019-05-28 21:42:09 +08:00
python 后端一年多, 目前处于一种迷茫的状态.
|
43
stallman 2019-05-28 23:30:30 +08:00 via Android
做爬虫不是长久之计,如果真想往这方面的话可以考虑渗透,网络攻防。做后台感觉 python 在这方面竟争力比 java 差太远了,数据分析倒是没关注。而且现在 python 找工作市场比较饱和,要求变得越来越高了,来自一个做了一年爬虫一年 web 最近找工作的感受🤣
|
44
wbf1013 2019-05-28 23:56:18 +08:00 via iPhone
没人推荐 .net 吗?滑稽
|
45
luzihang 2019-05-29 09:25:17 +08:00
所以 Python 转大数据工程师,是什么路径?先学 Java 吗
|
46
fank99 OP @stallman 我也觉得渗透、安全这块的话,python 还是有优势的,就找工作而言。老哥找 web 工作需要哪些技能呢
|
49
fang7781111 2019-05-29 11:30:35 +08:00
安卓逆向开发可以做比
|
50
datou 2019-05-29 15:56:56 +08:00
口才好的话去培训班当讲师
|
52
Untamed 2019-05-30 09:31:54 +08:00
我靠我现在也在自学 python...本来准备转数据分析的,但是感觉技术含量好低,想着先入行再调整方向...看了大家说的我都有点慌...python 被培训班炒的太过了
|
55
Untamed 2019-06-04 11:24:43 +08:00
|
56
songkai 2019-06-14 15:44:08 +08:00
python 被国内培训班炒火了,实际上 python 岗位也不多,想要长久还是学学 java、C 吧,做算法是最好的选择。
|