这是一个创建于 1670 天前的主题，其中的信息可能已经有所发展或是发生改变。
想爬点东西 具体啥不太好说 但是发现在单个 url 下可以爬 做了一个 urllist 之后批量爬就爬不下来 也没有报错 就是一直卡在那没反应 有啥好的办法吗 是我的操作问题还是网站对这个元素做了一些什么防护手段呢
 |
1
Waihinchan OP 补充一下。。如果切手机的 useragent 的话是可以爬下来的 所以应该是有办法 但是好奇为什么会存在这种情况呢。所以是不是网站设置了一些保护机制呢
|
 |
2
jugelizi 2020-04-23 08:12:25 +08:00 via iPhone
访问超频率了吧 还有可能是进了蜜罐
|
|
3
Waihinchan OP @jugelizi 只有那一个元素不行 比如我爬其他的标题或者一些尺寸之类的信息都可以批量爬的 而且我设置了间隔 …所以就很迷 而且没有报错…
|
Select Language