喜欢写爬虫，感觉好难找工作

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 3043 天前的主题，其中的信息可能已经有所发展或是发生改变。

学了很长一段时间 web ，自己用 tornado 做过博客，但是更喜欢爬虫

可是工作感觉很难找，纠结要不要重新拿起 web

Web

爬虫

Tornado

感觉

75 条回复 • 2016-12-15 00:26:29 +08:00

chimingphang

2016-07-06 21:15:22 +08:00

大数据？

Soar360

2016-07-06 21:19:25 +08:00

Web 是条不归路。

practicer

2016-07-06 21:22:30 +08:00

我写爬虫多一点，打算用它来找工作，但不是因为兴趣，只因用它作为转行的切入点。相比 web ，爬虫有这么几个优点：技能要求稍微低一点、竞争低（ PHP,JAVA...）、和我现岗位属于一个行业（数据分析）。楼主既然因为兴趣做爬虫，应该比我用心多了，共勉吧。加微信交流 nickysher

katyang

2016-07-06 21:32:23 +08:00

搭车问， web 好找工作吗？

verydxz

2016-07-06 21:33:07 +08:00

如果能深入，肯定比 web 好。问题就是会写一般地爬虫的到处都是，看 LZ 多厉害了。

dexterzzz

2016-07-06 21:34:10 +08:00

把 excel ， sql ， pandas 学好。
用爬虫爬数据存数据库，做数据分析，挖掘。

Xrong

2016-07-06 21:34:52 +08:00

是喜欢拿到数据的快感吧

dexterzzz

2016-07-06 21:35:00 +08:00

orange.biolab.si

liangmishi

2016-07-06 22:06:54 +08:00

@Soar360 不归还那么多人走

@chimingphang 有打算

liangmishi

2016-07-06 22:10:50 +08:00

@katyang 相比写爬虫会来得好找

@verydxz 是的，一般的爬虫很多人都会写，还是要看技能点了(还在加深难度)

@Xrong 确实有点喜欢

justou

2016-07-06 22:12:55 +08:00

@dexterzzz
有了 python 跟一系列 py 的工具还有必要学 excel 么
曾经打算学好 office 套, 后来用了 python 跟 latex 后就没管过了...

liangmishi

2016-07-06 22:14:55 +08:00

@dexterzzz thanks ，明白了，抓数据和分析数据都是绑一起的

exoticknight

2016-07-06 22:15:39 +08:00

顺便搞搞数据分析，大把世界

rogwan

2016-07-06 22:28:37 +08:00

Web 涉及的技术环境更多、更复杂，没有做爬虫来的单纯些。

katyang

2016-07-06 22:30:26 +08:00

@exoticknight 做爬虫并搞数据分析，这有可能单干吗？就是不去公司，自己远程工作之类

pc10201

2016-07-06 22:34:35 +08:00

个人觉得做 web 比做爬虫轻松一些~

binux

2016-07-06 22:55:00 +08:00

并不难找啊，有需求的公司那么多，从创业公司到百度都可以啊。

dtfm

2016-07-06 23:04:36 +08:00

我也是喜欢搞爬虫，没事爬爬微博、搞搞知乎之类，与反爬虫做斗争其乐无穷。
但光凭这个，好像不太是公司的需求，需要 python 数据挖掘的公司很多，但爬虫只是其中的一个很小的模块，更重要的数据分析，要通过这个找工作的话，感觉技能点点歪了。

notgod

2016-07-06 23:13:08 +08:00 via iPhone

会爬数据自己做站一个月几万很容易赚到的好吧
一天 2 小时就够了 .....

MyFaith

2016-07-06 23:15:47 +08:00

不是有个职业叫数据挖掘师吗？

suber

2016-07-06 23:21:52 +08:00 via iPhone

同想做爬虫，正打算找这方面的工作。现在是做 Java 开发，不知道换方向就业情况什么样。楼主找了很长时间吗

anexplore

2016-07-06 23:25:19 +08:00 via iPhone

爬虫没那么容易搞吧

2642375043

2016-07-06 23:38:35 +08:00

@notgod 怎么赚

tscat

2016-07-07 00:02:05 +08:00 via iPhone

@notgod 有没有做成的网站给个参考。。做过几个站，一直没入门的感觉。

yehon

2016-07-07 00:30:10 +08:00 via iPhone

请联系我 zhangyafeng # meizu.com

dtfm

2016-07-07 00:41:47 +08:00

@notgod 有这样搞的案例么，我想学习一下模式？独立网站现在能一个月挣几万，靠爬数据恐怕有点难吧。

redhatping

2016-07-07 00:45:59 +08:00 via iPhone

跟我联系可以 soho 上班 18001@go-enter.cn

notgod

2016-07-07 07:00:01 +08:00

@dtfm
@tscat
@2642375043

对于你们这么问的方式我确实无法回答
路是自己走的并且只能找到适合自己的路
唯一的前提是你具备赚多少钱的能力, 如果你没那个底子和学习能力
把百度给你 3 天也能玩到倒闭

这种所谓的参考是不具备意义的给你一个站你只会去模仿
没创新靠数据堆砌毫无意义

这里说的是谷歌非百度
如果你打算做建议你学习基础的搜索引擎优化和基础的自然语言处理
然后哪怕使用 wordpress 去采集数据处理数据入库
1 个月
10 个站 = 1 万 IP
100 个站 = 10 万 IP
10 万 IP 差不多一个月收入在$2k 左右了
平均一个网站 1000 个 IP 一天不难吧?

才开始肯定会浪费些时间走些弯路交些学费为错误买单
这些都是以后的宝贵经验

不要指望别人从头到尾的告诉你怎么做真的没什么用的
也不要看到别人月收入多少多少$ 其实别人才开始的努力通宵通宵的学习时间你们看不到
什么都有代价的

tscat

2016-07-07 07:25:37 +08:00 via iPhone

@notgod 感谢指点。懂了

clearbug

2016-07-07 08:30:25 +08:00 via Android

@notgod 不会发生侵权么？

murmur

2016-07-07 08:58:00 +08:00

爬虫现在我感觉已经做到瓶颈了首先这么多的数据拿来干嘛没有明确目的二是越来越多的网站要求注册甚至付费
爬数据的门槛越来越高了未来应该是那些网站自己卖自己的数据。。

XianZaiZhuCe

2016-07-07 08:59:17 +08:00 via iPhone

又他妈在跳大神真烦这种人

redhatping

2016-07-07 09:06:38 +08:00

@murmur 注册.... 难道我们的技术不要继续上升一步

ikaros

2016-07-07 09:14:05 +08:00

你可以 @gouwudan/g 他们(还有几个类似张大妈,买个便宜货)在招这方面的好像 - - 去掉斜杠

2642375043

2016-07-07 09:29:17 +08:00

@notgod 了解了

zmrenwu

2016-07-07 09:46:59 +08:00

用个框架爬点数据的人太多了，想找好工作需要深入理解 js 和浏览器运行原理。

duhui

2016-07-07 09:53:39 +08:00

请问下，你们说的爬虫是说的针对某个网站的爬，还是通用爬虫，根据关键字来爬呢

pyengwoei

2016-07-07 10:04:05 +08:00

@notgod 能分享下吗，我这就是有很多爬来的东西还不知道怎么切入

learnshare

2016-07-07 10:25:18 +08:00

爬数据不是个正经工作，数据分析才算吧

Verydiao

2016-07-07 10:50:21 +08:00

说起爬虫...我竟然买了火车头.......但是数据分析的话，还是得靠自由度更高的程序来实现，需要 python 自己编写。

jasonlz

2016-07-07 11:00:15 +08:00

爬虫只是手段，爬了之后做的事情才是关键，没有爬虫工程师，只有数据工程师。

zhengkai

2016-07-07 11:19:06 +08:00

只喜欢踢点球，哪个球队都不收我

gouwudang

2016-07-07 11:39:37 +08:00

楼主考虑南京么？我们有爬虫和日志分析岗位的需求，欢迎勾搭： [email protected]

chesterwang

2016-07-07 11:40:17 +08:00

@jasonlz 赞

sweb

2016-07-07 11:46:37 +08:00

@notgod Google 一个站 1Kip/天还真不太好搞， 10 个站 1Wip/天更不好搞了。

Reign

2016-07-07 12:01:10 +08:00 via Android

如果你能把爬虫验证码写个算法破解了，找工作就简单了

chenkun0128

2016-07-07 12:49:35 +08:00

最终还是要分析挖掘数据的价值，不然只是爬没有实质意义

notgod

2016-07-07 12:54:17 +08:00 via iPhone

@clearbug 侵权的问题很容易解决
2 个方案
1 直接使用俄罗斯罗马尼亚服务器没 dmca 问题
2 内容放美国，
真实内容放美国，
俄罗斯 vps 安装一个 nginx 做反向代理美国内容

为访问速度快，全部使用 cloudflare cdn 加速
投诉都投诉到俄罗斯罗马尼亚的 IP 。没 dmca

这些都是我的积累。只是作为参考让你少走弯路
这样算不算解决了投诉问题？为什么我这么聪明？而你还没想到？

我又膨胀了不说了老板让搬砖去了不然今天馒头都没了

notgod

2016-07-07 12:57:11 +08:00 via iPhone

@sweb 不难
所以说你前期会先走些弯路找到正确姿势就不难了
谷歌的一般不太稳来源流量一会高一会低
我不会告诉你我每天谷歌来源多少流量的

notgod

2016-07-07 13:06:20 +08:00 via iPhone

好我举个例子省的说我放卫星
我以 jav 这个被越南人承包了谷歌排名前 n 页的例子来说

卫道士免入

搜索
挂 ss 的谷歌加 ncr 以后
搜索 jav +图书馆的英文

得到一个网站
数据来源日本 dmm 。每天流量看 alexa

其他的搜索 jav
排名前的 me 域名的那些站每个月收入不低于$5 万
网站流量推测可以使用
https://www.similarweb.com/
这个工具计算网站真实流量相对精准
注意 web 和 mobile 是分开的
看看他们流量占比国家根本和中国没什么事全日本美国欧洲。这样的流量价格是中国的 3-5 倍

这些站都不是我的都越南团伙做的

学无止境抱着学习的态度接受所有信息提取对自己有用的
保持学习的精神善良些友善些

notgod

2016-07-07 13:07:58 +08:00 via iPhone

@pyengwoei 见上贴
其他不方便说太多可以加我微信私下交流
见主页博客头像扫码加我