RT,301 跳转都一个 CDN 的地址,我目前的做法是在 pipeline 中手动加入一个替换,可以完成下载:
def get_media_requests(self, item, info):
for img_url in item['imageUrlList']:
referer = item['imageTitleUrl']
img_url = img_url.replace('oldURL', 'new_CDNURL')
yield Request(img_url, meta = {'item': item,
'referer': referer})
但总感觉这样做有风险,因为 CDN 的 url 可能是变化的,我这里写死了,求指点合适的解决办法
1
anywalker707 OP 这个问题不难吧。。。
|
2
onlyice 2017-10-01 10:56:11 +08:00 via Android
301 为啥就下载失败? Scrapy 应该会自动跳转 301 吧。。
|