V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
vansenb
V2EX  ›  程序员

爬虫工程师想转中间件研发或者数据库研发

  •  
  •   vansenb · 2021-02-19 20:10:09 +08:00 · 1658 次点击
    这是一个创建于 1372 天前的主题,其中的信息可能已经有所发展或是发生改变。
    大约有 3 年爬虫工作经验,垂直领域的采集架构、逆向、智能提取算法都还可以,基本处于中上水平。不过感觉后续没有太大进步空间,考虑转向中间件研发或者数据库研发。看过一些消息中间件(例如 KAFKA 、RabbitMQ 、Plusar )方面的书和源码解读文章,也看过一些单机存储引擎 /模型( Bitcask 、LevelDB 、RocksDB )方面的文章和源码。

    Python 比较熟悉;会一些 Golang,能够写 Web 服务,基本操作没有问题。但自己比较倾向于 Rust,正在学习(零散学习了可能有 3 、4 个月)。期望 Rust 能作为自己的主力开发语言。

    有没有已经在这两个岗位上的同志现身说法,说说岗位的真实技术要求和工作内容。
    11 条回复    2021-02-22 21:24:39 +08:00
    johnsona
        1
    johnsona  
       2021-02-19 20:12:58 +08:00 via iPhone
    买霸王防脱就是干
    vansenb
        2
    vansenb  
    OP
       2021-02-19 20:18:01 +08:00
    @johnsona 逆向的话,深入下去就是信息安全,确实脱发。不过我不考虑逆向,一方面是快要 30 岁了,没法跟小年轻一样硬钢,熬工作伤身;另一方面思路跟不上,不适合深入逆向,况且兴趣也不在那。对数据库和中间件是有挺大兴趣的,bitcask 存储模型我用 Python 实现了一份,挺简单的。后续应该会用 Rust 写一个分布式的 KV 存储引擎。
    arloor
        3
    arloor  
       2021-02-19 21:13:06 +08:00
    开始面试就行了
    kksco
        4
    kksco  
       2021-02-19 21:49:06 +08:00
    老哥加个微信,一起交流 MTMxNzM2ODAwMTg=
    vansenb
        5
    vansenb  
    OP
       2021-02-19 22:06:07 +08:00
    @kksco 大哥,你想交流啥
    liyuanzao
        6
    liyuanzao  
       2021-02-19 22:17:29 +08:00
    @vansenb 接私单吗?
    tuoov
        7
    tuoov  
       2021-02-20 10:41:12 +08:00
    能给刚入门的菜鸟点建议吗?爬虫发展方向之类的?
    NoBugDie
        8
    NoBugDie  
       2021-02-20 13:52:37 +08:00 via Android
    base 哪里?有兴趣来我司试试嘛?时序数据库开发
    vansenb
        9
    vansenb  
    OP
       2021-02-22 21:21:45 +08:00
    @liyuanzao 虽然还在做着,但我一般对外都说不接。实际上是少于 10w 的一般都不接,都介绍给别人。
    vansenb
        10
    vansenb  
    OP
       2021-02-22 21:22:35 +08:00
    @NoBugDie 我在北京,丰台科技园。时序数据库引擎我看过一些介绍,好像可以基于 KV 存储构建查询引擎。
    vansenb
        11
    vansenb  
    OP
       2021-02-22 21:24:39 +08:00   ❤️ 1
    @tuoov 爬虫的发展方向可以看我在图灵和其它厂技术社区的直播回放,有专门讲爬虫工程师发展方向和行业生态的。网上搜一下我名字(韦世东),应该可以找到相关视频
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2920 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 03:12 · PVG 11:12 · LAX 19:12 · JFK 22:12
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.