frogex 最近的时间轴更新
frogex

frogex

V2EX 第 368733 号会员,加入于 2018-12-07 12:03:46 +08:00
frogex 最近回复了
2019-01-19 15:46:52 +08:00
回复了 frogex 创建的主题 Python 淘宝反爬求解
@xiao38245
手机淘宝是二进制的协议吧,要破协议,这个我没经验。而且直接抓接口的方法淘宝随便封更容易,感觉还是模拟人的操作稍微靠谱点
2019-01-19 10:50:03 +08:00
回复了 frogex 创建的主题 Python 淘宝反爬求解
@IWSR
那能怎么办?讨论爬虫的帖子超级多,可讨论反爬的实在太少了,工作这么久身边也基本没一个人做过这些的
2019-01-18 16:21:03 +08:00
回复了 frogex 创建的主题 Python 淘宝反爬求解
@dengtongcai
请看全文,不仅是登陆,是要长期稳定的爬,且能过各种滑块,目前最终方案在 23F, 放 win 虚拟机跑了
2019-01-18 11:35:34 +08:00
回复了 frogex 创建的主题 Python 淘宝反爬求解
@dengtongcai
爬简单,要能稳定长期、全自动化、有效的爬才难啊
2019-01-18 11:34:41 +08:00
回复了 frogex 创建的主题 Python 淘宝反爬求解
@yinaqu
淘宝检测了什么我不确定是不是只在 sufei_data 那个 js 里,从我分析看,至少有检测了 10 个函数,至少 headless 都 pass 了和非 headless 一样的结果。其他的实在看不下去了,都是混淆过的代码,命名 abcdefg,函数各种混着赋值,似乎要人肉维护一个函数调用关系
2019-01-18 11:32:06 +08:00
回复了 frogex 创建的主题 Python 淘宝反爬求解
@soulmine
我也知道,公司安全的负责人也说,你一个人怎么能应付一个团队,不要硬肛,要想别的办法,但什么大淘客还是不行啊,搜不到我要的。 但这爬东西又是公司必须的任务,之前从来没搞过,忧虑了好久,总没彻底去解决。

淘宝也有付费 api,不过 leader 还是希望能神不知鬼不觉的用爬虫比较好
2019-01-18 10:08:23 +08:00
回复了 frogex 创建的主题 Python 淘宝反爬求解
@lkwfive
没试过这个,有空试下吧,不过用什么工具 taobao 应该还是都会检测的
2019-01-18 10:02:59 +08:00
回复了 frogex 创建的主题 Python 淘宝反爬求解
@yinaqu
工作很多年了,90%时间写 C++
2019-01-18 09:35:43 +08:00
回复了 frogex 创建的主题 Python 淘宝反爬求解
@yumenlong
不会 pyqt,不过应该不只是 selenium 的问题,光看 taobao 的 js 就有 chromedriver 的指纹检测
2019-01-18 09:34:41 +08:00
回复了 frogex 创建的主题 Python 淘宝反爬求解
@yangsi
当然可以,主要是不能确定靠什么检测的,试过 PhantomJS 也是不行
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2642 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 15ms · UTC 12:18 · PVG 20:18 · LAX 05:18 · JFK 08:18
Developed with CodeLauncher
♥ Do have faith in what you're doing.