这是一个创建于 4758 天前的主题，其中的信息可能已经有所发展或是发生改变。
实际上，技术实现也会很蛋疼，只能考虑把4000W条记录全部Cache到Memory里。MySQL、MongoDB神马的基本上没用，因为必然每次都是4000W的全表扫描，网友涌来服务器必宕无疑。
如果有同学能提供8G内存的VPS，这事还比较靠谱。可以来联系我Twitter@dndxdndx
我用Python试了一下，600W条内存记录遍历一次大概需要0.4s，可以忍受。
如果有同学能提供8G内存的VPS，这事还比较靠谱。可以来联系我Twitter@dndxdndx
我用Python试了一下，600W条内存记录遍历一次大概需要0.4s，可以忍受。
 |
1
rfwert343 2011-12-22 15:53:46 +08:00
不用直接下载以后看更快
|
 |
2
cdh_ys 2011-12-22 15:54:31 +08:00
http://t.easyicon.cn/ 不到0.4s吧
|
 |
5
dndx OP |
|
6
rfwert343 2011-12-22 15:59:06 +08:00
@dndx 做个电驴链接分享网站，用discuz论坛就能搭建一个。然后下载都是用户自己下载用户的，你就不用担心服务器耗不起了。
|
 |
12
lxklz 2011-12-22 16:36:30 +08:00
http://leak.xpcha.com/csdn/ 这个也很快，但好像只能精确匹配
|
 |
13
willerce 2011-12-22 16:55:52 +08:00
多简单的事，放数据库就OK了，分表嘛。
|
 |
14
dreamersdw 2011-12-22 17:47:09 +08:00
方法有很多种
1)像 @willere 说的那样放数据库里，加上索引，或者分区。 2)虽然是文件数据，但努力一下也可以像 ctags 那样，实现二分查找。 3)利用文件系统实现查找功能，比如建立多层文件夹表示用户名 /path/s/o/m/e/o/n/e/ |
 |
15
CMGS 2011-12-23 00:22:14 +08:00
目前放出来的都是精确匹配，数据入数据库，索引Email和Name……
模糊的……恩有……纯文本grep，下面有提供方案…… http://www.v2ex.com/t/24087#reply15 哈欠……睡觉去…… |
 |
16
feiandxs 2011-12-23 00:34:49 +08:00
我一直想知道
xmd5这种站是怎么做到的。。。 billions of key/values.... |
 |
17
delectate 2011-12-23 00:34:50 +08:00
文件系统io是瓶颈；grep更快
|
|
18
delectate 2011-12-23 00:35:07 +08:00
grep+正则还可以支持模糊匹配
|
 |
19
taby 2011-12-23 01:12:08 +08:00
金山已经出了吧
|
 |
20
vibbow 2011-12-23 02:46:52 +08:00
http://vsean.net/blog/post/98 5个数据库全文搜索，搜一次3分钟...
|
 |
21
jakori 2011-12-24 17:43:24 +08:00
这玩意估计就一阵风，这阵风过了，还会有多少用户来查询咧
|
 |
23
Showfom 2011-12-24 21:21:44 +08:00
已联系~
|
Select Language