V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
wjx1993
V2EX  ›  Node.js

各位大佬们。请教一个关于微信文章爬虫的问题

  •  
  •   wjx1993 · 2018-03-29 08:17:05 +08:00 · 5340 次点击
    这是一个创建于 2412 天前的主题,其中的信息可能已经有所发展或是发生改变。

    https://github.com/lqqyt2423/wechat_spider 这个微信文章爬虫项目感觉写的挺好的,他这个项目我运行后,只能获取文章链接和标题,但是不能自动跳转到文章详情页获取浏览量和点赞

    希望大佬们看到后,指导一下

    我是 win10 上运行的,不知道是否会有影响

    14 条回复    2018-03-29 11:30:52 +08:00
    wjx1993
        1
    wjx1993  
    OP
       2018-03-29 08:19:03 +08:00
    个人感觉有可能是 redis 数据库存储文章链接的问题,因为我在本地 redis 数据库没看到文章链接的数据,但是他代码里的逻辑应该是从 redis 数据库取链接然后再获取文章详情页的浏览量和点赞
    wjx1993
        2
    wjx1993  
    OP
       2018-03-29 08:53:15 +08:00 via Android
    有没有大佬在?
    wjx1993
        3
    wjx1993  
    OP
       2018-03-29 09:49:35 +08:00 via Android
    跪求大佬指导
    lazyboy
        4
    lazyboy  
       2018-03-29 09:55:19 +08:00   ❤️ 3
    我写的。。 通过历史消息页面获取文章和链接后 再随便打开一篇文章页面试试
    lazyboy
        5
    lazyboy  
       2018-03-29 09:55:46 +08:00
    就说今天过来怎么多了些 star 了
    opengps
        6
    opengps  
       2018-03-29 10:06:38 +08:00
    @lazyboy 666,活捉大佬啊
    wjx1993
        7
    wjx1993  
    OP
       2018-03-29 10:13:22 +08:00 via Android
    @lazyboy 大佬,联系你好久了,就是没有回复我,终于找到你了
    wjx1993
        8
    wjx1993  
    OP
       2018-03-29 10:14:54 +08:00 via Android
    @lazyboy 我试过了,要手动点开文章才可以获取文章详情页的浏览量和点赞
    wjx1993
        9
    wjx1993  
    OP
       2018-03-29 10:15:23 +08:00 via Android
    @lazyboy 可不可以改成自动点开获取数据?
    lazyboy
        10
    lazyboy  
       2018-03-29 10:22:46 +08:00
    targetBiz.json 设置这个文件里面的你要抓取的 msgbiz
    或者直接把这个文件删掉
    然后之后打开文章页面 只要你的数据库中之前有链接 就会自己跳的
    你可以看我的代码逻辑怎么写的呀
    wjx1993
        11
    wjx1993  
    OP
       2018-03-29 10:40:22 +08:00 via Android
    @lazyboy redis 数据库并没有存跳转的链接,怎么跳?大佬,可以加你微信或 qq 私聊吗?
    lazyboy
        12
    lazyboy  
       2018-03-29 10:56:05 +08:00
    mongo 里面有就行
    wjx1993
        13
    wjx1993  
    OP
       2018-03-29 11:00:35 +08:00 via Android
    @lazyboy mongo 里有文章链接,但是并不能自动跳转到文章详情,你看下
    lazyboy
        14
    lazyboy  
       2018-03-29 11:30:52 +08:00
    加我微信吧 MTg4MTc1MDc1MzA=
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1230 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 17:57 · PVG 01:57 · LAX 09:57 · JFK 12:57
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.