这是一个创建于 3474 天前的主题，其中的信息可能已经有所发展或是发生改变。
有朋友想收集yande.re里的图片
于是现学撸了一个爬虫出来
大家来拍吧
https://github.com/wudaown/yandeDL
未满18岁慎用
第 1 条附言 · 2015-06-20 14:22:24 +08:00
刚才在看K站的结构.... 发现程序还能在简化...
浪费了很多很多时间
在重写
浪费了很多很多时间
在重写
 |
1
zonghua 2015-06-20 02:20:39 +08:00 via iPhone
python做爬虫有什么加成
|
 |
2
Imyssed 2015-06-20 03:19:48 +08:00
其实我比较好奇Y站和K站是不是一个系统啊...好像的说
|
 |
3
wudaown OP 貌似是的.. y站以前不叫Y站.. 换过名字了
|
1 |
5
yeah2109 2015-06-20 04:12:49 +08:00
输入关键词以后没有进度提示吗？
|
|
7
yeah2109 2015-06-20 06:22:27 +08:00
我输入了一定的页数，下载了一段时间后
Traceback (most recent call last): File "yandeDL.py", line 61, in <module> main() File "yandeDL.py", line 55, in main MultiPageDownload() File "yandeDL.py", line 27, in MultiPageDownload coreDL(crawler.getSource(next_page_url)) File "yandeDL.py", line 14, in coreDL crawler.getImg(dLink, filename_list) File "/root/yandedl/crawler.py", line 123, in getImg urllib.request.urlretrieve(x[2:-2], filename_list[count]) File "/usr/local/lib/python3.4/urllib/request.py", line 219, in urlretrieve % (read, size), result) urllib.error.ContentTooShortError: <urlopen error retrieval incomplete: got only 196325 out of 255091 bytes> 这么显示然后就停止了，是什么原因？ |
 |
8
hansnow 2015-06-20 08:45:26 +08:00
问个和主题不相关的问题哈，楼主帖子里的红色框框是怎么输入的呢？
|
 |
9
anthonyeef 2015-06-20 10:13:07 +08:00
@hansnow markdown自带的吧
|
|
11
wudaown OP |
 |
12
shuzhiqian 2015-06-20 15:53:57 +08:00
iOS开发技术分享群：429196500 欢迎加入！
|
 |
13
dlc 2015-06-20 20:24:37 +08:00
楼主， 为什么我安装完python3.4.0 后双击yandeDL.py打不开。
|
 |
14
moenayuki 2015-06-20 21:27:30 +08:00
|
|
18
dlc 2015-06-21 10:12:43 +08:00
@wudaown 双击yandeDL.py一闪而过，在cmd用 python yandeDL.py 也打不开。
|
 |
19
ghostxdy 2015-06-21 14:17:23 +08:00 via Android
我特的来回复一下，我收藏了
|
 |
22
djyde 2015-06-21 22:11:59 +08:00
yande 是 h漫版的 hackernews?
|
Select Language