1
lslqtz 2016-11-02 09:32:09 +08:00
本人反代 YouTube ,然后用户就被验证码拦了
|
2
terence4444 2016-11-02 09:33:11 +08:00 via iPhone
每次打开会有验证码
|
3
chendajun OP |
4
21grams 2016-11-02 09:39:05 +08:00
封 ip 那是轻的
|
6
majinjing3 2016-11-02 09:52:41 +08:00 via Android
@chendajun 可以尝试使用代理,建立个代理池,
|
7
mudone 2016-11-02 10:23:46 +08:00
做爬虫代理池不应该是标配吗。。
|
8
chendajun OP @mudone 1 ,代理稳定性一直是个问题(付费的 vpn 稳定性也很不好,一直在用付费代理), 2 , youtube 封 ip 是封死的。
|
9
jimzhong 2016-11-02 10:37:55 +08:00
当然会
|
10
Aspx 2016-11-02 10:55:20 +08:00
代理池是标配
|
11
ljcarsenal 2016-11-02 11:02:25 +08:00
gg 是世界上最大的爬虫公司 当然反爬技术也是炉火纯青了
|
12
chendajun OP @ljcarsenal 能感觉到反爬技术很牛逼。另外你的头像是 272 ?
|
13
ljcarsenal 2016-11-02 11:07:46 +08:00
@chendajun 嗯
|
14
zoudeze 2016-11-02 11:23:06 +08:00
表示 http://www.clipconverter.cc 一只很好用,干嘛要自己搞个什么东西爬视频~~~~
|
15
shuang 2016-11-02 11:41:05 +08:00
一直用的它提供的 API 接口爬视频然后下载的,跑了很长时间了,貌似没被限制过 ip
|
16
tumbzzc 2016-11-02 12:01:36 +08:00
以前爬过几千个视频,没有出现问题
|
18
hujianxin 2016-11-02 13:19:19 +08:00
爬 youtube 啥意思啊,如果想单纯的下载视频的话用 you-get 或者 youtube-dl 两个软件都可以下啊,我下载几百个视频都不会有别的问题的。也可能我不理解你的意思
|
19
chendajun OP @hujianxin 客户需要 youtube 新闻类的视频,我是把 you-get 集成到程序中,爬虫拿到网页链接后交给 you-get 去下载视频,现在 youtube 把 ip 封掉了。
|
20
wmttom 2016-11-02 14:07:08 +08:00
youtube-dl 单 ip 下了十万个视频还没被封,可能是运气好
|
21
annielong 2016-11-02 14:25:11 +08:00
有接口尽量用接口,只要不是特别频繁调用接口,一般不会封,但是模拟前台抓取页面这种,貌似会封的比较厉害
|
24
anexplore 2016-11-02 21:19:16 +08:00
不要随便传播哦,否则要喝茶的
|
26
alexapollo 2016-11-02 23:38:00 +08:00
google 和 youtube 这一套体系的反爬都比较完善,门槛比较高了,但要爬仍然能爬
|
27
justyy 2016-11-02 23:50:58 +08:00
@chendajun https://weibomiaopai.com#api 能用上么?
|
28
myself659410 2017-02-09 14:58:42 +08:00
盯上 youtube 人太多了
|