V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
19091730135
V2EX  ›  Python

在苏州已经裸辞快两个月了,发现爬虫岗位真的约不到什么面试

  •  
  •   19091730135 · 2023-04-13 01:52:04 +08:00 · 3653 次点击
    这是一个创建于 572 天前的主题,其中的信息可能已经有所发展或是发生改变。

    本人大专,毕业一年了,心态真的有点爆炸,感觉失业了

    27 条回复    2023-04-23 10:31:25 +08:00
    twor2
        1
    twor2  
       2023-04-13 08:26:02 +08:00
    省钱+耐心
    dj721xHiAvbL11n0
        2
    dj721xHiAvbL11n0  
       2023-04-13 08:29:45 +08:00
    放下身段,降低薪资要求
    tramm
        3
    tramm  
       2023-04-13 08:51:41 +08:00
    还有专门的爬虫岗?这东西不都是兼着做的嘛
    tpxcer
        4
    tpxcer  
       2023-04-13 08:53:24 +08:00 via iPhone   ❤️ 1
    这玩意都是正儿八经岗位顺带做的,哪里来专职
    hhhhhh123
        5
    hhhhhh123  
       2023-04-13 09:19:50 +08:00
    个人觉得是你的经验太少了,现在这行情很少会招一年的
    karatsuba
        6
    karatsuba  
       2023-04-13 09:31:38 +08:00
    爬虫专岗要求都很高,这玩意特别吃经验
    大部分中小公司的爬虫都是兼着做的,没需求也没必要去招个专人
    建议转语言或者找个小公司做后端开发猫着
    djoiwhud
        7
    djoiwhud  
       2023-04-13 09:34:46 +08:00 via Android
    专门盯着爬虫,很刑。
    1018ji
        8
    1018ji  
       2023-04-13 09:39:04 +08:00
    专职的都要做 APP ,不做 APP 很难
    zzl22100048
        9
    zzl22100048  
       2023-04-13 10:53:13 +08:00
    极验 瑞数 加速乐 工商 司法 商标 专利 这几个随便会一个也不可能没公司要啊
    ugpu
        10
    ugpu  
       2023-04-13 11:20:38 +08:00
    爬虫转向岗位都是在地下 见不得光. 大机构 /集团 互相窃取数据 转私活来做的.不是正儿八经的方向.

    顶多实现某个功能需要一些数据 然后去窃取.某个领导按时 CTO CTO 自己领会. CTO 也不傻.顺手要没心眼的人顺手做了就是. 万一爬虫写错了把人服务器爬崩了就是另一个故事了.

    至于为什么 OP 会认为这是一个专项岗位?可能头铁进入了了头铁的公司 or 有背景的公司.
    renmu
        11
    renmu  
       2023-04-13 11:28:26 +08:00 via Android
    爬虫岗要求高,要会逆向,你得 java 熟,对 js 熟。
    Sum0l
        12
    Sum0l  
       2023-04-13 12:56:32 +08:00
    楼上各位说的都是实话,一般都是公司内部兼职的,爬虫专岗发展方向有些受限,如果确实感兴趣,就需要深入研究搞逆向、网安方向了,但那不是“普通人”搞得了的
    xinJang
        13
    xinJang  
       2023-04-13 12:58:10 +08:00
    @zzl22100048 瑞数是扒还是 rpc 、无头这些
    westoy
        14
    westoy  
       2023-04-13 13:05:58 +08:00
    @tramm

    有的, 数据公司

    像楼主在苏州的话, 苏州银行和控股的租赁公司就有很大一部分评估数据是找数据公司买的, 那这些公司就有专门的爬虫岗

    实质上就是切割风险啊, 我只要数据, 数据怎么来的我不知道, 你不合规被查了你去坐牢呗........
    zzl22100048
        15
    zzl22100048  
       2023-04-13 14:06:24 +08:00
    @xinJang 算法效率高很多
    leeraya
        16
    leeraya  
       2023-04-13 14:16:42 +08:00
    爬虫玩大了可以有稳定一日三餐
    wliansheng
        17
    wliansheng  
       2023-04-13 14:37:19 +08:00
    转大数据吧,
    stillsilly
        18
    stillsilly  
       2023-04-13 14:50:11 +08:00
    楼上没见过就是没有吗
    我上家公司和现在的公司都有爬虫团队,专门写采集脚本和数据采集平台的,不止一个人哦,是一整个团队。
    上家大概 3-5 个人,现在这家数据采集组有 10 来个人。
    ren2881971
        19
    ren2881971  
       2023-04-13 14:53:40 +08:00
    爬虫违法吧。。。
    james2013
        20
    james2013  
       2023-04-13 14:59:21 +08:00
    爬虫写的 6,牢饭吃的快
    bookbox
        21
    bookbox  
       2023-04-13 15:29:14 +08:00
    名硕欢迎你
    mumuy
        22
    mumuy  
       2023-04-13 16:24:22 +08:00
    爬虫门槛太低了。。。
    zpd2009
        23
    zpd2009  
       2023-04-13 16:32:42 +08:00   ❤️ 4
    大部分人对爬虫的印象还停留在 web 阶段。
    现在的爬虫要求 app 逆向,脱壳,ollvm ,vmp ,风控,是一个技术要求非常高的岗位。
    另一方面,能搞定逆向,脱壳,ollvm ,vmp 以后很多人也不愿意做爬虫了。因为再往后就涉及到风控了,现在的风控对抗都是机器学习在高,风控对抗这个东西对技术的提升就没有了,还特别花时间。
    mxT52CRuqR6o5
        24
    mxT52CRuqR6o5  
       2023-04-13 16:36:41 +08:00
    @westoy 怪不得 chatgpt 替代不了程序员
    xiangagou
        25
    xiangagou  
       2023-04-14 09:13:35 +08:00
    之前做过几个公司的爬虫项目,都是大项目空了顺手学了做的,法律风险很大,挺担惊受怕的.你这全职估计要精通 tcp,socket 二进制数据逆向才行吧.
    tpxcer
        26
    tpxcer  
       2023-04-14 09:39:42 +08:00 via iPhone
    @zpd2009 学习了
    luzihang
        27
    luzihang  
       2023-04-23 10:31:25 +08:00
    如何设计可配置低代码的数据采集平台;
    如何上千万上亿的数据如何更新、调度;
    如何监控爬取的异常;
    任务调度系统如何设计;
    如何对很多杂的项目,任务进行管理;
    数据常用组件的使用 es kafka hive mongo 等;
    如何设计反爬策略,攻防思维

    现在这个大环境,要求高,才能抓到符合需求的高质量数据。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3234 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 12:24 · PVG 20:24 · LAX 04:24 · JFK 07:24
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.