V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
jsw
V2EX  ›  互联网

乌云主站+知识库镜像文件 便携版(47M)

  •  2
     
  •   jsw · 2016-08-25 21:24:42 +08:00 · 9791 次点击
    这是一个创建于 3041 天前的主题,其中的信息可能已经有所发展或是发生改变。
    原数据库来源: https://github.com/hanc00l/wooyun_public 感谢分享

    本便携数据库系由上面 Repo 里提供的虚拟机硬盘里提取出 mongodb 数据文件,转制为 JSON 并经过 LZMA -9e 指令压缩制成

    内容:乌云主站 + 知识库
    格式: HTML in JSON
    多媒体状态:仅文字
    原大小: 1977M
    压缩后大小: 42M
    压缩比: 2%

    下载镜像:
    百毒云 链接: http://pan.baidu.com/s/1mim5ZOs 密码: xg5r
    250+110 云: https://yunpan.cn/cMx4wqhVM88kG 提取码: 2eb0
    IPFS : QmPfRD8rgBkysKghB4ojZ27J5tSW1qLayuhivtWEUm14eU (IPFS 介绍见 https://ipfs.io/ )

    校验信息:
    SHA256 : da339fe9912ed83c89065c6b209b65b1ed919f9019bb19215ca07880ebfb9add

    P.S. 乌云图站已经炸了,图片资源正在整理中
    第 1 条附言  ·  2016-08-26 13:40:27 +08:00
    感谢 @Marfal 做 Amazon Cloud Drive 镜像: https://www.amazon.com/clouddrive/share/4wVbriye7kUXBo9arHzxChU036qGiwkb9GwmegrgAWZ?ref_=cd_ph_share_link_copy

    图片资源整理完结:
    来源是一个朋友抓的,不知道点名好不好( x

    一共 12G
    提供种子文件,做种三天,之后节假日做种。
    下载:
    http://pan.baidu.com/s/1jH6CFwa 密码: bxkc
    https://yunpan.cn/cMqBvRg3CdDqd (提取码: 5e27 )

    校验信息:
    SHA256: cf42f46b4ae82a42ac59341eac206fd9fdb889c9785aea29ce5bf26329509116
    第 2 条附言  ·  2016-10-04 01:51:15 +08:00
    为了方便将数据导回 mongodb ,现发布 BSON 版。

    打开方式:
    docker pull mongo:2
    在工作区环境中使用 mongorestore 指令导入这些数据。

    下载地址:
    http://pan.baidu.com/s/1nvTjyuX 密码: 6fyy
    https://yunpan.cn/cvsxWuKcvXN48 密码: eb9e

    校验信息:
    bd1c71ae964e733d278539d78f18525284e99dedd830b2b4c49a07de8be1ac59 wooyun.bson.tar.xz

    就这样。
    27 条回复    2017-01-24 15:54:19 +08:00
    charove
        1
    charove  
       2016-08-25 21:31:02 +08:00 via Android
    mark
    jsw
        2
    jsw  
    OP
       2016-08-25 21:36:48 +08:00
    所有图片大概有 12G 左右吧,不过没法压缩不好传。
    treo
        3
    treo  
       2016-08-25 21:37:52 +08:00
    乌云的图站 static.wooyun.org 目前还正常,不过迟早也要挂吧
    jsw
        4
    jsw  
    OP
       2016-08-25 21:39:57 +08:00
    @treo 诶 那看来是刚才梯子炸了(
    liqingcan
        5
    liqingcan  
       2016-08-25 21:40:13 +08:00 via Android
    所以乌云真的挂掉了,回不来了吗?
    ovear
        6
    ovear  
       2016-08-25 22:09:36 +08:00
    先下为敬
    ovear
        7
    ovear  
       2016-08-25 22:11:04 +08:00
    @jsw 试试 torrent ?
    jsw
        8
    jsw  
    OP
       2016-08-25 22:24:23 +08:00
    @ovear 主要是很快就要开学了做种不能 x 不过明天我会试着做一个的
    (推荐几个好用的 tracker 呗
    ovear
        9
    ovear  
       2016-08-25 22:40:35 +08:00
    @jsw _(:з」∠)_我也没试过呢,不过我可以帮忙做种 2333
    jyf007
        11
    jyf007  
       2016-08-26 06:06:24 +08:00 via Android
    360 果然不仅 250 而且 110
    ixinshang
        12
    ixinshang  
       2016-08-26 09:00:16 +08:00 via Android
    必须的 感谢智云
    pureblack
        13
    pureblack  
       2016-08-26 09:33:38 +08:00
    必须感谢 0.0 架设中……
    ixinshang
        14
    ixinshang  
       2016-08-26 12:56:26 +08:00
    @ixinshang 感谢乌云 也感谢您 手机竟然发错了。。。
    话说 这压缩比 怎么压得?
    jsw
        15
    jsw  
    OP
       2016-08-26 13:42:07 +08:00
    @ixinshang lzma -9ev 压了三十分钟左右 压缩比问题完全看要压的是什么东西(
    weakish
        16
    weakish  
       2016-08-29 21:11:48 +08:00
    > 一共 12G
    >
    > 校验信息:
    > SHA256: cf42f46b4ae82a42ac59341eac206fd9fdb889c9785aea29ce5bf26329509116

    后来换 torrent 了?
    下载下来的是:

    015a369ab261effbc5ebb7b8d747d2a7e426cf5b4f660ec80aef409f34316593 wooyun-images/images-main.tar
    fabb866bf32a1ec2c3bb61cc81959f38a701ac6d8b59419cfadd307c2c52e1a9 wooyun-images/images-drops.tar
    kozora
        17
    kozora  
       2016-09-05 12:55:45 +08:00
    正在服务器上缓慢下载中,晚些时候上传到对象存储里
    MARCH0
        19
    MARCH0  
       2016-09-14 11:26:57 +08:00
    有人做了 docker 版本吗,求 docker 版本
    jsw
        20
    jsw  
    OP
       2016-09-14 19:27:30 +08:00
    @MARCH0 我在提取数据的时候是开了个 docker 中间件来着...
    其实你可以开个 library:mongo 然后用 mongodb 的导入指令导入(具体是哪个忘记了
    Marfal
        21
    Marfal  
       2016-09-15 18:25:29 +08:00
    MARCH0
        22
    MARCH0  
       2016-09-18 10:46:09 +08:00
    @jsw mongodb 倒入的时候报错 warning: log line attempted (16384k) over max size(10k), printing beginning and end ,使用了 mongoimport -d wooyun -c wooyun_drops --file wooyun_drops.json --jsonArray 命令,不加--jsonArray 就报 exception:BSON representation of supplied JSON is too large: code FailedToParse: Failed 。有人遇到过吗
    MARCH0
        23
    MARCH0  
       2016-09-18 18:24:03 +08:00
    用了最新的 mongodb 解决了,不过那些标题点了还是 404
    jsw
        24
    jsw  
    OP
       2016-10-04 00:40:09 +08:00
    @MARCH0 其实,如果需要,我可以弄份 BSON 出来,可能兼容性好一点。
    jsw
        25
    jsw  
    OP
       2016-10-04 00:45:13 +08:00
    @MARCH0 其实当时在朝外倒的过程中并没有使用 mongo 最新版(因为数据库格式问题)
    所以我的建议是使用和原来一样的版本( docker pull mongo:2 )

    另外从日志来看,不要用 mongo import/export ,这是操作 BSON 的指令。 mongo 另外提供了一组指令操作 JSON/XML ,用那个(不记得叫什么了,不过反正就这两组四个指令)
    jsw
        26
    jsw  
    OP
       2016-10-04 00:53:32 +08:00
    @MARCH0 啊,好久没用智障了,忘记上边第二段话吧(逃
    可能数据有点大,这东西处理有困难,改天我会整理一个 BSON 版发上来的。
    ic3z
        27
    ic3z  
       2017-01-24 15:54:19 +08:00 via Android
    下来利用一波
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1069 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 23:27 · PVG 07:27 · LAX 15:27 · JFK 18:27
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.