抓了点知乎用户数据，打算分享给各位兄弟

知乎

VPS

网盘

喝茶

49 条回复 • 2016-09-24 14:44:10 +08:00

1

abelyao

2016-09-16 20:04:43 +08:00 via iPhone

放 LeanCloud 吧，每月有 100 万次免费的数据接口调用，或者全部转为静态数据后存储在又拍云七牛。

2

a87150

2016-09-16 20:09:30 +08:00

有什么用？

3

ooh

2016-09-16 20:09:41 +08:00

知乎网管正在拨打东北黑社会小哥电话 ing 🤣

4

airqj

OP

2016-09-16 20:13:34 +08:00

@a87150 兄弟我把计算机话题下的所有子话题的最佳回答者的动态都给抓下来了
有没有用就看你自己了
用户推荐什么的

5

airqj

OP

2016-09-16 20:17:35 +08:00

@abelyao 多谢兄弟我试一下

6

URgoy

2016-09-16 20:17:43 +08:00 via Android

不知道。

7

youmualone

2016-09-16 20:50:47 +08:00

1

Disallow: /login
Disallow: /logout
Disallow: /resetpassword
Disallow: /terms
Disallow: /search
Disallow: /notifications
Disallow: /settings
Disallow: /inbox
Disallow: /admin_inbox
Disallow: /*?guide*
Disallow: /people/*-*-*-*

8

lslqtz

2016-09-16 21:07:57 +08:00

我想想哈。。
大小多大？

9

rhen

2016-09-16 21:15:12 +08:00 via Android

支持，不过 5w..根本看不完

10

airqj

OP

2016-09-16 21:15:47 +08:00

@lslqtz 处理一下估计有 2G 左右
恢复成真正的数据十几个 G

11

airqj

OP

2016-09-16 21:16:41 +08:00

@rhen 这不是用来看的
用来做机器学习用户推荐之类的

12

lll9p

2016-09-16 21:24:10 +08:00

抓情感类或者别的很喜欢讲故事的话题更好哈，用 RNN 训练之后输出一些上知乎看看得多少赞

13

lslqtz

2016-09-16 21:25:22 +08:00

@airqj lzma 压缩神器试试看

14

lslqtz

2016-09-16 21:31:05 +08:00

我找到了，你可以试试看 daocloud 。
没找到说限制带宽和流量的，但是我找到了存储空间是需要 1x 的容量，默认搞定后是有 2x 的容量，搞微信还有 3x 。
其中 1x 可以开个 docker ， 1x 可以开 10g 的存储空间，就是注意优化和经常登录，这玩意容易休眠，也容易内存爆掉挂掉。
如果怕内存挂掉可以去搞微信，再来个 1x 加内存。
建议用 lzma 压缩，否则上传速度感人。
http://233.dog/f_40127258.png
http://233.dog/f_29750671.png
http://233.dog/f_48875122.png

15

zhouzb889

2016-09-16 21:33:41 +08:00

忘了乌云和世纪佳缘的故事了吗？

16

airqj

OP

2016-09-16 21:42:25 +08:00

@lll9p 原本是打算把爬虫放到 github 上有兴趣的人把数据爬了就 PR 一下
不过目前看来不太合适

17

airqj

OP

2016-09-16 21:43:14 +08:00

@zhouzb889 我这东西又不是用来盈利的
再者爬虫爬下来的应该不会有什么事吧？

18

airqj

OP

2016-09-16 21:43:52 +08:00

@lslqtz 多谢兄弟
明天试试

19

lslqtz

2016-09-16 21:48:04 +08:00

@airqj 如果分卷的话你可以用 oschina ，速度飞快，上传限制 1G ，分卷用 999M 就好。
http://osu.acgvideo.cn/songs/Chuunibyou-1.mp3

20

viko16

2016-09-16 21:48:11 +08:00 via Android

@lslqtz 图床域名好赞

21

lslqtz

2016-09-16 21:55:16 +08:00

2

@viko16 http://myloli.club ，去用吧。
顺便吐槽一下，上次写代码测试，因为用客户端删表麻烦，脑抽直接把数据库清空了，备份不太及时，结果大部分的记录炸了没法管理 2333 。

22

7sDream

2016-09-16 22:11:15 +08:00

1

https://zhuanlan.zhihu.com/p/20828854

很早之前抓了 300w 知乎活跃用户的基础数据……至今不知道往哪放……

23

airqj

OP

2016-09-16 22:37:31 +08:00

@7sDream 爬数据用的是兄弟你的爬虫哈哈

24

wizardforcel

2016-09-16 22:38:57 +08:00 via Android

有小黄文么😂😂😂

25

7sDream

2016-09-16 22:42:36 +08:00

@airqj

这 TM 就尴尬了 23333 。

不过自己的项目有人用感觉还是挺好的哈，虽然我项目的定位并不是爬虫……尴尬。

26

ovear

2016-09-16 22:46:38 +08:00

mega 盘挺不错的啊。。

27

abelyao

2016-09-17 00:14:39 +08:00

1

@7sDream 有意思，分享给了很多非互联网行业的朋友，很直观的表现了 “数据分析” 的应用和价值

28

7sDream

2016-09-17 00:41:29 +08:00

@abelyao 谢谢支持~~

29

jiaots

2016-09-17 01:33:41 +08:00

@7sDream @airqj 哥们我想抓点特定网站的数据，能不能加我 QQ 858 82 70 900

30

andyfan

2016-09-17 02:03:02 +08:00 via Android

马克等地址

31

ryd994

2016-09-17 05:55:47 +08:00 via Android

楼主你放吧，我服务器不限流量给你转好了
主要问题是………预计会很慢
megadrive 也可以

32

ryd994

2016-09-17 05:56:14 +08:00 via Android

也可以考虑 BT ，人多点立刻就快了

33

prefere

2016-09-17 06:15:25 +08:00

挂自己服务器上，用迅雷下载一次。然后删掉自己服务器上的内容。
别人想下的时候直接用迅雷下就可以了，
以前看别人这么搞过，不知道现在还能不能用。

34

hard2reg

2016-09-17 09:45:36 +08:00

@prefere 然后就被举报了

35

shiji

2016-09-17 09:48:37 +08:00

我 Linode 还剩 8T 流量，需要帮忙么？

36

airqj

OP

2016-09-17 10:18:33 +08:00

@ryd994
@prefere
@shiji
主要是怕被请去喝茶

37

Ouyangan

2016-09-17 10:22:28 +08:00

上次爬了三十万....一直扔硬盘

38

shiji

2016-09-17 10:23:23 +08:00 via Android

@airqj 实在不行遮盖住部分用户名，这样基本没啥毛病

39

prefere

2016-09-17 10:34:30 +08:00

要不你看看能不能塞谷歌网盘里

40

ixinshang

2016-09-17 11:49:08 +08:00 via Android

里面的段子不错

41

timestamp

2016-09-17 11:59:21 +08:00

http://www.zhihu.com/robots.txt

42

chenxx

2016-09-17 12:54:37 +08:00

@airqj 能提供下爬虫吗，我想学习一下

43

airqj

OP

2016-09-17 14:02:53 +08:00 via Android

@chenxx 可以去看看 7sDream 大大的爬虫

44

chenxx

2016-09-17 14:23:14 +08:00

@airqj 在哪，我现在碰到的问题是伪装浏览器没成功，不知道是不是 headers 没写对

45

airqj

OP

2016-09-17 14:50:55 +08:00 via Android

@chenxx 兄弟找代码不是应该上 github 吗………

46

lll9p

2016-09-17 17:52:31 +08:00

哦哦对，可以放 Btsync 啊~
@airqj

47

chuhemiao

2016-09-17 19:39:25 +08:00

https://daxiaxia.github.io/

48

abelyao

2016-09-17 21:27:46 +08:00

@jiaots 想抓啥？

49

googlefans

2016-09-24 14:44:10 +08:00

怎么抓的？ zhihu 没防抓措施？