V2EX › PeterD 的所有回复 › 第 13 页 / 共 13 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 4 5 6 7 8 9 10 11 12 13

❮

❯

2013-07-14 10:46:22 +08:00

回复了 krfantasy 创建的主题 › 奇思妙想 › 我想做个AV评分网站。

@regent 用west-chamber-season-3代理抓取webcache.googleusercontent.com，不会出现单一ip请求次数的限制。

-----------
使用的west-chamber-season-3版本为 https://github.com/liruqi/west-chamber-season-3/tree/3e633e7950df3438ce9f2ec2913a745a20c277e7
west-chamber基于的是goagent，我想google没有限制appengine上的appid抓取webcache.googleusercontent.com。
我不清楚google的防火墙是否也如此。

2013-07-11 00:30:45 +08:00

回复了 krfantasy 创建的主题 › 奇思妙想 › 我想做个AV评分网站。

爬虫跑了4天，得到44199部影片的信息，平均每天10000个左右，数据在 https://docs.google.com/file/d/0B-FIgFlYXgPtaGhiTkN4ZkJpSUk

-------------
数据都为有码影片的信息，遗憾没有找到无码的数据。
-------------
哪位大神知道有像dmm.co.jp一样的网站提供所有的无码片的数据。

2013-07-06 18:15:25 +08:00

回复了 krfantasy 创建的主题 › 奇思妙想 › 我想做个AV评分网站。

@cheung 抱歉，目前我只知道fanhao.org, javlibrary.com, dmm.co.jp

2013-07-06 15:39:56 +08:00

回复了 krfantasy 创建的主题 › 奇思妙想 › 我想做个AV评分网站。

我在抓取fanhao.org和dmm.co.jp的数据，估计有45474部影片的数据。估计7月10日左右可以抓完。

以下是我的做法：(代码用shell写)
1. 用wget备份cn.fanhao.org。
2. 从备份的cn.fanhao.org中抓取番号，作品名称，发行商，出版日期，片长，演员和简介。
3. 从google缓存中获得一部影片在dmm.co.jp上的大封面，小封面，影片截图，影片类型和最总要的评分(ratings)。

数据储存为json。
-------------
鉴于dmm.co.jp在天朝不能访问，选择从google抓取dmm.co.jp缓存。
由于webcache.googleusercontent.com限制访问次数，用west-chamber-proxy (https://github.com/liruqi/west-chamber-season-3) 可突破访问限制。
www.google.com/search?q=data每次可连续访问100请求，每限制请求后2min后解除限制，但多次限制后会出现图片识别认证，需要手动输入。(奇怪的是不能用代理解决)
-------------
访问dmm.co.jp的图片没有地域限制，如：
http://pics.dmm.co.jp/mono/movie/adult/1star399/1star399pl.jpg
-------------
代码贴在：
https://gist.github.com/PeterDing/186332d7716fab7a64e2

2013-06-27 20:48:28 +08:00

回复了 krfantasy 创建的主题 › 奇思妙想 › 我想做个AV评分网站。

影片图片爬虫解决方案：
---------------------------
#!/usr/bin/env sh
fanhao='star+399'

useragent='Mozilla/5.0 (X11; Linux i686) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.45 Safari/537.36"

curl -A $useragent "http://www.amazon.co.jp/s/?url=search-alias%3Ddvd&field-keywords=$fanhao" | grep -o -P 'http://ecx.images-amazon.com.+?jpg' | sed 's/\._.*_\./\./g' | head -n1

2013-06-27 18:38:52 +08:00

回复了 krfantasy 创建的主题 › 奇思妙想 › 我想做个AV评分网站。