V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
onice
V2EX  ›  程序员

想用 Python 做个资讯聚合站,需要用到哪些技术?

  •  
  •   onice · 2019-11-28 15:26:05 +08:00 · 1564 次点击
    这是一个创建于 1804 天前的主题,其中的信息可能已经有所发展或是发生改变。

    自己想做一个咨询采集站,类似于多个新闻站点的聚合。

    我想到的思路肯定是需要 python 写爬虫去采集,是用 bs 库吗?但是目标站点网页结构发生变化,我岂不是又要更新一次代码?

    我想在 web 端爬取规则搞成可配置的形式,但是感觉有点复杂。有没有更好的方法?

    目前只会一些 django。如果要实现这种新闻聚合站点,应该学一些什么?

    目前会的技术栈有:java,springboot,python,django,vue,jquery,bootstrap.

    4 条回复    2019-12-06 15:31:53 +08:00
    zhenruyan
        1
    zhenruyan  
       2019-11-28 15:33:37 +08:00
    你这么问的时候 就证明了 你上述说的技术栈 大部分没那么会叭。
    dreamerlv3ex
        2
    dreamerlv3ex  
       2019-11-28 15:37:41 +08:00
    Axure
    ibirdyuan
        3
    ibirdyuan  
       2019-11-28 23:37:11 +08:00
    别想太多,先实现吧,快速搞一版 demo 出来哪怕再重构也不会太费时,光想很容易就想没了
    U87
        4
    U87  
       2019-12-06 15:31:53 +08:00
    我之前做过类似,前台可编辑爬虫规则,爬取网站有哪些等,后台会唤醒爬虫,当然暂时不考虑网页结构发生变化
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5078 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 05:39 · PVG 13:39 · LAX 21:39 · JFK 00:39
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.