1
pimin 2014-10-29 11:47:43 +08:00 via iPhone
1.开多线程,每个查询一个线程。
|
2
akira 2014-10-29 11:51:31 +08:00
每个地址单独开个线程来监控吧
|
3
gs038538 2014-10-29 13:29:31 +08:00 via Android
关键是 抢的到
|
6
limbo0 2014-10-29 14:46:07 +08:00
前几天那个说不要在淘宝拍卖的帖子难道在指楼主
|
9
imn1 2014-10-29 17:35:33 +08:00
bs慢,想快首先换 lxml 或其他更快的dom解析,能用regex就更好,因为载入dom树比载入文本耗时
|
10
exceloo 2014-10-29 18:38:05 +08:00
用js...
|
11
chemzqm 2014-10-29 19:38:22 +08:00
多进程多代理,要是同时开抢,你一个循环刚开始人家都抢完了
|
12
20150517 2014-10-29 23:44:55 +08:00
beautifulsoup光这处理速度就已经秒了,这玩意
1. 要服务器离秒的服务器近 2. 用python太慢,最好直接c语言 |
13
TheLamb 2014-10-30 00:57:46 +08:00
这双十一快到了,LZ加油,到时候给我们测试一下
|
14
ClownQiang 2014-10-30 11:20:11 +08:00
同求测试。。。
|
15
unfurl 2014-10-30 11:51:14 +08:00
没用的…
关键时候页面能不能打开都是问题 |
16
cdxem713 2014-10-30 16:58:03 +08:00
感觉解析一个页面两秒太慢了,按理说不会这么长时间的,你的解析是指请求-响应-解析的一整个流程么?
|
17
cdxem713 2014-10-30 16:59:34 +08:00
开多线程,然后挂VPN不停自动切换VPN地址会快很多
|
24
pythonfan OP @20150517 c语言不熟悉。。。只能先python试试看吧,服务器的话打算打听下,在同个机房租个空间跑程序,这样应该会快些吧。
|
27
pythonfan OP @cdxem713 之前不够严谨,随便举得例子,刚刚看了下,整个请求-响应-解析流程大概0.3-0.5秒的样子。请问不停自动切换VPN地址是为了啥呢?
|
30
unfurl 2014-10-31 09:14:24 +08:00
@pythonfan 我帮朋友写过抢nike限量发售的鞋子,用的是selenium,选的vps跟网站延迟5ms以内;不太热门的款式,成功率七八成,热门的鞋子…… 发售前一小时网页就几乎打不开了
|
33
cdxem713 2014-10-31 10:19:21 +08:00
@pythonfan 是爬虫的话,同一个IP并发请求太多肯定会被封的,之前做过稳定点的就是,开多个线程并发请求,然后隔几分钟暂停这些线程,切换VPN地址,再开始线程,这种就不容易被封了。
|
37
cdxem713 2014-10-31 11:19:29 +08:00
@pythonfan 可以先试试大并发会不会被封,这个东西每个网站也有不同。这类垂直爬虫,我觉得解析速度比较次要,提高request/response的速度,然后在安全的前提下提高并发数才比较关键。
|