采集淘宝，找不到促销价格。。。

[c7898585]

促销价格目测是用的折扣的方式，应该是原价*折扣 但是找遍了整个页面都找到这个折扣的比例在哪 有老司机采集过的能指导下吗

[ufo22940268]

你可以通过商品 id 去一淘上抓

[javaluo]

这年头还采淘宝做啥

[c7898585]

@ufo22940268
请教下，用火车头 sku_properties 这个参数与 price 和 title 对应的话有什么好方法吗？
还是必须单独再写一个 php ？

[c7898585]

@javaluo 做一个论坛

[aeshfawre]

作为一个老司机,
比如这个:https://item.taobao.com/item.htm?spm=a219r.lm874.14.9.0Y2qEA&id=530963237947&ns=1&abbucket=16
你说的折扣价就是这个 39.00 吧.
如果是那就是没错.打开这个页面的时候,你会发现有个 get 发出
https://detailskip.taobao.com/service/getData/1/p2/item/detail/sib.htm?itemId=530963237947&modules=qrcode,viewer,price,contract,duty,xmpPromotion,dynStock,delivery,upp,sellerDetail,activity,fqg,zjys,coupon&callback=onSibRequestSuccess
这里面就有促销价格:
{"cart":true,"loginPromotion":false,"price":"39.00","start":false,"type":"\u7279\u4EF7\u6D3B\u52A8"}

话说有人收掉我这个快 30 岁的爬虫司机么,无业游民啊.

[Allianzcortex]

我为什么这么闲……不应该赶紧滚去看书吗……

看完我大概明白 LZ 是什么意思了。这样啊，不是所有在网页上看到的信息都是写在源代码里的（是，可以通过审查元素来看到，但 ctrl+u 打开网页源码是找不到的，而网页源码是你用 requests 得到的内容）。

去 W3C 看看 AJax 的内容，然后打开 Chrome 的开发者模式，进入 Network 那一栏，刷新网页，看看页面都向服务器请求了哪些东西）。最主要的就是模拟访问请求（然而按照淘宝那么 BT 的反爬虫，总有一些东西是不能完全模拟的，京东爬的话会好很多）

[laoyuan]

我就看到了 PHP

[gdtv]

@Allianzcortex 请教一下,打开 Chrome 的开发者模式，进入 Network 那一栏，刷新网页, 然后能不能从所有请求里搜索文本?

[Allianzcortex]

@gdtv 能说的再详细一些嘛？我就暂时理解为是搜索 response 里的文字内容了。我没有尝试过，因为基本上你需要的就是一些 AJax 请求，就可以直接过滤掉单纯的 js 文件和图片了（这占了很大的一部分），直接看 response 就能发现需要什么样的内容了。

[pyengwoei]

@aeshfawre 你地理位置在哪里？

[aeshfawre]

@pyengwoei 江西宜春

[zichen0422]

@aeshfawre 在这里能看到老乡. 卧槽,

[gdtv]

@Allianzcortex 就是在该 html 页面以及该页面引用的所有 js/css 的 response 里面搜索文字内容. 例如 www.a.com/test.html 引用了
www.a.com/1.js
www.a.com/2.js
www.a.com/3.js
某个 js 里有个关键字'helloworld',但我不知道具体在哪个 js 里,当然我可以一个一个 js 打开去找,但有没有什么办法批量搜索这些 js 呢?

[Allianzcortex]

@gdtv 是这个？ http://stackoverflow.com/questions/4145266/how-to-search-all-loaded-scripts-in-chrome-developer-tools/7970237#7970237

[aeshfawre]

@gdtv 玩爬虫必备工具 burpsuite , 直接在 filter 里面填上你的词,就过滤出来了

[aeshfawre]

@Allianzcortex 感谢,一直没用过 chrome 这个搜索功能. 最新版本是用快捷键 CTRL+SHIFT+F

[gdtv]

@Allianzcortex 正是这个 http://stackoverflow.com/questions/4145266/how-to-search-all-loaded-scripts-in-chrome-developer-tools/7970237#7970237 ,非常感谢

[gdtv]

@aeshfawre 谢谢

[c7898585]

@aeshfawre 这个 403 forbidden 的怎么获得返回值的？

[aeshfawre]

@c7898585 这个..., 你直接点击连接当然是 forbidden 了. 我只是将链接发出来,指明价格在哪个链接. 你自己在 chrome 的网络数据中找这链接, 只能帮到这里了,剩下的你再研究研究.

[luojing]

淘宝的采集不容易，有些好像是需要 cookie 等才能打开你要的数据，总之，是要模拟真实访问的才行

[c7898585]

@luojing 大部分没问题啊，标题，商品详情之类的都可以直接采集，就是跳转页加了一个

@aeshfawre 我在 chrome 中查看，确实没找到这个饿，是在 element ， source ，还是 network 里找？都看了下好像都没有啊，另外这玩意能读取到吗？用的火车头采集

＠全体成员　　为什么这个帖子那么多人收藏。。。。

[redhatping]

@aeshfawre 做 soho 吗 我们要采取数据

[c7898585]

@redhatping 你们也采集淘宝？

[x8888k]

@aeshfawre 宜春哪里的

[aeshfawre]

@x8888k 万载县黄茅镇

[GeekGao]

@aeshfawre 杭州招人，要考虑嘛？

[aeshfawre]

@GeekGao Sorry,远了点.