这是一个创建于 3507 天前的主题，其中的信息可能已经有所发展或是发生改变。
现在有个数据仓库大概10亿数据，数据分析筛选后大概2kw数据，曾经干过100w的sqlite3内存模式查了四个group by用时总共1分钟左右。如果是2kw数据性能如何，请教下。
第 1 条附言 · 2015-04-10 12:34:32 +08:00
今天进一步做需求，发现最后需要直接把另一张表3kw数据cache到内存加速10亿数据刷选，使用sqllite3作为内存cache，另外输出2kw左右的中间数据用于数据分析，数据量不大，不想上spark。 发现几千万的级别的使用sqlite3做数据分析可行，分析数度也够快，当然费些内存是必要的，也进一步鉴证为毛那个ngxtop用那么多人用。
 |
1
usedname 2015-04-09 21:05:11 +08:00
zhao si
|
 |
2
Septembers 2015-04-09 21:06:38 +08:00
建议用PgSQL
|
 |
3
RangerWolf 2015-04-09 21:08:04 +08:00
no zuo no die ?
|
 |
4
msg7086 2015-04-09 21:16:07 +08:00
算不算年度最佳笑话？
用一下pg/my又不麻烦…… |
 |
5
clino 2015-04-09 22:16:51 +08:00
试一下不就知道了,造这么大的数据出来测试一下嘛
其实sqlite性能挺不错的,当然并发高肯定不行 |
|
6
Septembers 2015-04-09 22:18:47 +08:00
@msg7086 虽然SQLite设计达到了2T(README上是这么说的)但是SQLite的实现远远达不到这种能力
|
 |
7
liuhaotian 2015-04-09 22:20:38 +08:00
作死
|
 |
8
int64ago 2015-04-09 22:30:47 +08:00
一个嵌入式用的数据库你确定你要这么做？
|
 |
9
chenjf2k 2015-04-09 22:30:54 +08:00
我也想知道答案。
我的预想是应该在1kw下应该可以承受。只要合理索引，不要全表扫描。 Sqlite有个好处：不用时不占内存，不像SQL Server或其他库，一装载内存就占用很多。 |
 |
10
em70 2015-04-09 22:37:17 +08:00 via Android
跑在SSD上应该不至于死
|
 |
11
kslr 2015-04-09 22:37:21 +08:00 via Android
这点内存换来的可不是一点方便
|
 |
12
lianghui OP  1
|
 |
13
no13bus 2015-04-09 23:19:36 +08:00
leveldb
|
 |
14
zhujinliang 2015-04-09 23:58:02 +08:00 via iPhone
simplecd好像用的sqlite，印象中作者写过文章讨论性能
|
 |
15
wolfan 2015-04-10 00:05:42 +08:00
小身板扛大旗，作！作！
|
 |
16
Earthman 2015-04-10 00:28:03 +08:00
@zhujinliang 改mongodb了
|
 |
17
NeoAtlantis 2015-04-10 05:15:26 +08:00
那啥，上次酒店什么的那个数据就是2kw条。
当时好象是在虚拟机里装微软的SQL Server导出的。。。 |
 |
18
xiaogui 2015-04-10 05:23:04 +08:00
四个group by...
|
 |
19
zspsky 2015-04-10 06:55:44 +08:00
太大的数据不要用.就把它当作access处理吧。access能处理的sqlite的也可以。
|
|
20
zspsky 2015-04-10 06:59:01 +08:00
sqlite文件一大。真的是要哭死。
|
 |
21
jamiesun 2015-04-10 08:12:08 +08:00
绝对没有问题，以空间换时间。
|
 |
22
iam36 2015-04-10 08:38:11 +08:00
如果在内存里面跑 ，估计比 更大的DBMS要快，再不济不会更慢。
等你测试结果。 |
 |
23
cchange 2015-04-10 08:55:20 +08:00
simplecd主数据库为sqlite，绝对是第一手应用经验啊
|
 |
24
Actrace 2015-04-10 09:05:11 +08:00
sqlite的优势在于便携。
不过这并不达标它性能不行。 |
 |
25
northisland 2015-04-10 10:17:23 +08:00
感觉挺喜感，
有人知道sqlite的查找复杂度大体是多少，其他的呢？ |
|
26
northisland 2015-04-10 10:25:51 +08:00
|
 |
27
Admstor 2015-04-10 10:28:23 +08:00
simplecd数据量并没有多少吧
统计信息 全站资源数:464949 全站文件数:10974809 按资源也就50W不到,按文件数才达到千万级别 顺便...已经换MongoDB了 |
 |
28
idblife 2015-04-10 11:28:45 +08:00
我就想问一句，你为啥用sqlite？
no zuo no die |
 |
29
GuangXiN 2015-04-10 12:15:04 +08:00 1
不知道楼主是想做工程方案还是想搞学术实验
|
Select Language