各位爬师看过来

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2678 天前的主题，其中的信息可能已经有所发展或是发生改变。

爬取图片的时候，下载下来全都是一样的网站广告图片，应该是做了防盗链了，怎么解决呢？

图片

防盗

全都

下载

17 条回复 • 2017-09-02 11:17:09 +08:00

stop9125

2017-09-01 11:18:11 +08:00 via iPhone

其实看到这个标题心里一抖，啥叫爬师。

topbandit

2017-09-01 11:23:22 +08:00

伪装啊，找漏洞啊什么的

est

2017-09-01 11:23:51 +08:00

再请一个专门爬图片的爬师

Phariel

2017-09-01 11:30:38 +08:00

我第一反应，绝命爬师

altboy

2017-09-01 11:32:18 +08:00

@stop9125 哈哈，标题党，不然你们不来啊

altboy

2017-09-01 11:32:46 +08:00

@topbandit 伪装浏览器操作是么？ selenium 那东西？

altboy

2017-09-01 11:33:13 +08:00

@est 那就是爬师爷了。。。

ooh

2017-09-01 11:36:16 +08:00 via Android

上次我听到这种叫法是码师。

hololens

2017-09-01 11:40:28 +08:00

python 不是应该叫代码的地下情报员么。

Itoktsnhc

2017-09-01 11:42:07 +08:00

可以尝试改下请求头的 referrer 模拟下浏览器内部的请求

altboy

2017-09-01 11:49:18 +08:00

@all 各位，找到解决方案了，那网站的做法是每次请求的时候需要带一个随机字符串（ UUID ），在这我顺便给你们推荐两个网站吧，一个白天看的 http://www.tuicool.com/a/，增长知识，一个晚上看的 http://www.mmjpg.com ，增长姿势

topbandit

2017-09-01 11:56:33 +08:00

伪装，就是模拟用户、浏览器等

pyufftj

2017-09-01 12:10:04 +08:00

哪有爬师，只有爬畜

jingniao

2017-09-01 12:45:00 +08:00 via Android

不是虫师么？

Sanko

2017-09-01 13:05:44 +08:00 via Android

吓了一大跳

uyinn

2017-09-01 21:43:15 +08:00

@altboy #11 你说的带 UUID 的网站是哪一个？是怎么发现的呢？麻烦说一下

OpenJerry

2017-09-02 11:17:09 +08:00

@altboy mark 晚上回去爬第二个网站