上百亿数据规模数据数据如何进行处理

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2825 天前的主题，其中的信息可能已经有所发展或是发生改变。

400 亿规模的数据规模如何进行快速搜索和入库呢？用 mongodb 集群+es 可以完成这项任务吗？

数据

MongoDB

规模

入库

13 条回复 • 2017-03-03 18:00:09 +08:00

qfdk

2017-03-03 15:46:54 +08:00 via iPhone

同样问题你们入库速度大概多少我 26000000 大概半小时单机 es

herozhang

2017-03-03 15:48:51 +08:00

磁盘、内存、 CPU 是啥配置，不说没法对比啊

qfdk

2017-03-03 15:51:32 +08:00 via iPhone

@herozhang 内存 16g i7 三代硬盘 500g ubuntu 16 04

XiaoFaye

2017-03-03 15:53:29 +08:00

@qfdk 500g HDD?

herozhang

2017-03-03 15:59:58 +08:00

通用思路应该是根据搜索需求的具体情况来分库，热数据直接放内存，冷数据放硬盘

wph95

2017-03-03 16:55:18 +08:00

500g HDD ？？？
你每条数据有多小？
10b 一条？

stabc

2017-03-03 16:58:52 +08:00

我觉得做这种事情的人问这种问题有种悖论在里面。
就好像之前看过一个询问“我就要当 CEO 了，请问 CEO 平时都做些什么？”

yepinf

2017-03-03 17:03:32 +08:00

['100 亿数据 1 万属性数据架构设计']( http://www.36dsj.com/archives/75363)

SlipStupig

2017-03-03 17:11:05 +08:00

@wph95 每天数据应该在 100kb 以内吧

qfdk

2017-03-03 17:14:31 +08:00

@XiaoFaye 对 hdd 大概 100000 数据 /s 每个包大概 14Mb

lhbc

2017-03-03 17:48:20 +08:00 via iPhone

这个问题至少值几十万年薪啊

SlipStupig

2017-03-03 17:59:44 +08:00

@lhbc 月入 5.5 块的路过...

wshcdr

2017-03-03 18:00:09 +08:00

关注这个问题