各位大佬们。请教一个关于微信文章爬虫的问题

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2432 天前的主题，其中的信息可能已经有所发展或是发生改变。

https://github.com/lqqyt2423/wechat_spider 这个微信文章爬虫项目感觉写的挺好的，他这个项目我运行后，只能获取文章链接和标题，但是不能自动跳转到文章详情页获取浏览量和点赞

希望大佬们看到后，指导一下

我是 win10 上运行的，不知道是否会有影响

文章

大佬

win10

微信

14 条回复 • 2018-03-29 11:30:52 +08:00

wjx1993

2018-03-29 08:19:03 +08:00

个人感觉有可能是 redis 数据库存储文章链接的问题，因为我在本地 redis 数据库没看到文章链接的数据，但是他代码里的逻辑应该是从 redis 数据库取链接然后再获取文章详情页的浏览量和点赞

wjx1993

2018-03-29 08:53:15 +08:00 via Android

有没有大佬在？

wjx1993

2018-03-29 09:49:35 +08:00 via Android

跪求大佬指导

lazyboy

2018-03-29 09:55:19 +08:00

我写的。。通过历史消息页面获取文章和链接后再随便打开一篇文章页面试试

lazyboy

2018-03-29 09:55:46 +08:00

就说今天过来怎么多了些 star 了

opengps

2018-03-29 10:06:38 +08:00

@lazyboy 666，活捉大佬啊

wjx1993

2018-03-29 10:13:22 +08:00 via Android

@lazyboy 大佬，联系你好久了，就是没有回复我，终于找到你了

wjx1993

2018-03-29 10:14:54 +08:00 via Android

@lazyboy 我试过了，要手动点开文章才可以获取文章详情页的浏览量和点赞

wjx1993

2018-03-29 10:15:23 +08:00 via Android

@lazyboy 可不可以改成自动点开获取数据？

lazyboy

2018-03-29 10:22:46 +08:00

targetBiz.json 设置这个文件里面的你要抓取的 msgbiz
或者直接把这个文件删掉
然后之后打开文章页面只要你的数据库中之前有链接就会自己跳的
你可以看我的代码逻辑怎么写的呀

wjx1993

2018-03-29 10:40:22 +08:00 via Android

@lazyboy redis 数据库并没有存跳转的链接，怎么跳？大佬，可以加你微信或 qq 私聊吗？

lazyboy

2018-03-29 10:56:05 +08:00

mongo 里面有就行

wjx1993

2018-03-29 11:00:35 +08:00 via Android

@lazyboy mongo 里有文章链接，但是并不能自动跳转到文章详情，你看下

lazyboy

2018-03-29 11:30:52 +08:00

加我微信吧 MTg4MTc1MDc1MzA=