V2EX › Northxw 的所有回复 › 第 6 页 / 共 14 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7 8 9 10 ... 14

❮

❯

2019-04-25 16:27:06 +08:00

回复了 Northxw 创建的主题 › Python › 花式反爬之某众点评网

@aver4vex 试试 pyppeteer 吧，要慢慢了解。不过 selenium 更大众化啦

2019-04-25 16:21:03 +08:00

回复了 Northxw 创建的主题 › Python › 花式反爬之某众点评网

@dcalsky 你说的还是大众点评吗？

@JCZ2MkKb5S8ZX9pq 哈哈哈，现在互联网数据不都是这样搞嘛大家都心知肚明

@n329291362 哦豁，还有这种操作，可以尝试一下啊

2019-04-25 14:22:26 +08:00

回复了 Northxw 创建的主题 › Python › 花式反爬之某众点评网

@stephenliubp 可以的

@l0wkey 哈哈都过时了

@TheBestSivir 哎吆。。

2019-04-25 12:47:51 +08:00

回复了 Northxw 创建的主题 › Python › 花式反爬之某众点评网

@n329291362 ？

@lithiumii 哈哈，被坑了吧

@dot2017 公认的反爬比较变态的一家站点。

@dcalsky 登录如果只要 cokkies 而没有加密参数，应该很 easy 的，但是不清楚你说的具体情况是什么

@lhx2008 确实，但是当反爬成本比较高的时候，比如大众点评，维护费用真的很高的。

@PP 没有真正的反爬，只有难度的加深，最终....

2019-04-24 20:33:21 +08:00

回复了 luzemin 创建的主题 › 产品经理茶话会 › 不管什么网站，看到“登陆”两个字我就没心情再看了

这个就太真实了

2019-04-24 17:49:00 +08:00

回复了 czc2004211 创建的主题 › 全球工单系统 › 微信公众号抄袭知乎的文章，原作者维权维权被驳回。视觉中国也没你这么霸道吧！

诉诸公堂啊

2019-04-23 10:05:32 +08:00

回复了 leewlab 创建的主题 › Python › PySpider 如何去重？

如果你存数据库，可以尝试 md5 一个唯一值，然后检查（或者布隆过滤器？不清楚）

2019-04-22 19:58:43 +08:00

回复了 Northxw 创建的主题 › 程序员 › CrawlSpider 怎么针对多个爬取站点设置 rules 或者 Rule ？？？

@snappyone 我的思路就是通用爬虫。哈哈。

@dsg001 不不不，我只做到半通用化，好理解化就可以啦。全部配置我也不喜欢。