1
luanguang 2019-06-14 09:17:47 +08:00
用自带方法拼接
``` response.urljoin() ``` |
2
fank99 2019-06-14 10:49:51 +08:00
我是这样的。。
from urllib.parse import urljoin yield Request(url=urljoin(response.url, url), callback=) |
3
xiushenbuhuihui OP @luanguang 您好,我把我的问题给你详细描述一下,请您帮我解决一下。
用的是 crawlspider 爬取乐融商城全部的网站源代码,但是爬取到精选配件页面(全部分类选项里面)时,由于商品(“比如:乐视蓝牙耳机”)的链接只是相对的,结果导致无法爬取商品页面源代码 |
4
xiushenbuhuihui OP @fank99 您好,我把我的问题给你详细描述一下,请您帮我解决一下。
用的是 crawlspider 爬取乐融商城全部的网站源代码,但是爬取到精选配件页面(全部分类选项里面)时,由于商品(“比如:乐视蓝牙耳机”)的链接只是相对的,结果导致无法爬取商品页面源代码 |