V2EX › imlonghao 的所有回复 › 第 50 页 / 共 58 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 42 43 44 45 46 47 48 49 50 51 ... 58

❮

❯

2014-12-31 21:07:09 +08:00

回复了 imlonghao 创建的主题 › 程序员 › 使用 Pyspider 爬取京东 Wap 版本商品价格

@binux
您看看吧。那这样的话要导出数据只能通过db那里来导？打算换去mysql好导出一下..
另外，我爬京东的时候用35/30这样来爬，算是快么？

2014-12-31 20:57:11 +08:00

回复了 imlonghao 创建的主题 › 程序员 › 使用 Pyspider 爬取京东 Wap 版本商品价格

@wangfeng3769
我刚刚说了我并没有爬不同地区的商品情况，我的VPS是日本的，所以只能爬了北京的情况。

不过我还是根据你的需求看了看京东的设计，大概能满足你的有求了。

商品页：
天津 > 东丽区 > 全境
provinceId=3 天津
cityId=51035 东丽区 | cityId=51042 静海区 | 等等...
countryId=39620 全境

其中，countryId默认天津都是全境，不需要另外设置，只需要设置cityID和provinceId即可。

想要看那个地区的库存情况，爬虫的时候设置不同天津（provinceId=3）地区的cityID即可。

我所贴的代码：
self.crawl(urljoin(each.attr.href,'?=').replace('?=',''), callback=self.in_page)

你要看天津的，就可以改成：
self.crawl(urljoin(each.attr.href,'?province=3&cityID=51042'), callback=self.in_page)

等等，其他自己发挥

2014-12-31 20:44:14 +08:00

回复了 imlonghao 创建的主题 › 程序员 › 使用 Pyspider 爬取京东 Wap 版本商品价格

@wangfeng3769 我只是爬了商品的名称、分类以及价格，没有爬有没有货这个..

2014-12-31 20:39:50 +08:00

回复了 Livid 创建的主题 › Amazon Web Services › 有人不小心把自己的 S3 API Key 放进 GitHub，然后被盗用之后收到一张 $2375 的账单

@virusdefender 我就说你的ID怎么那么熟悉哈哈

2014-12-31 20:37:02 +08:00

回复了 imlonghao 创建的主题 › 程序员 › 使用 Pyspider 爬取京东 Wap 版本商品价格

root@pyspider:~# wget 127.0.0.1:5000/results/dump/jd.json
--2014-12-31 20:31:43-- http://127.0.0.1:5000/results/dump/jd.json
Connecting to 127.0.0.1:5000... connected.
HTTP request sent, awaiting response...

就这样就不动了，我记得如果是流式输出的话wget不是这样的..

2014-12-31 20:29:56 +08:00

回复了 imlonghao 创建的主题 › 程序员 › 使用 Pyspider 爬取京东 Wap 版本商品价格

@binux 可能是这个的问题吧，前面有nginx和varnish，我试一试直接下载:5000的看看

2014-12-31 19:03:03 +08:00

回复了 Livid 创建的主题 › Amazon Web Services › 有人不小心把自己的 S3 API Key 放进 GitHub，然后被盗用之后收到一张 $2375 的账单

http://www.wooyun.org/searchbug.php?q=R2l0aHVi&pNO=1
何不看看这个？

2014-12-31 16:17:52 +08:00

回复了 cnZary 创建的主题 › 问与答 › 刚刚试验了一下..Gmail 和 QQ 邮箱之间能收能发啊...并没有所说的发不了收不了..

可能吧因为我昨天似乎看到v2ex有说解封得了
你可以看看昨天的帖子
我已换fastmail，这几天没上

2014-12-31 16:13:48 +08:00

回复了 cnZary 创建的主题 › 问与答 › 刚刚试验了一下..Gmail 和 QQ 邮箱之间能收能发啊...并没有所说的发不了收不了..

pop3 imap 协议被封而已
邮件不能收发指的是在国内不爬墙不能用客户端收发邮件