1
DCjanus 2018-09-30 12:46:47 +08:00 via Android
你是准备自己造轮子取代 ES ?
|
3
lideshun123 2018-09-30 16:43:48 +08:00
分词也自己写?
|
4
kwklover OP @lideshun123 分词也是自己写
|
5
nockyQ 2018-09-30 17:21:19 +08:00
以前基于 Lucene 开发检索模块的时候也遇到过这个问题,所幸需求相对简单勉强能应付。等一个大牛来分享下经验。
|
6
xuminzhong 2018-09-30 17:38:13 +08:00
我有做爬虫项目,日处理数据量大概是 1-2 千万,上亿数据量的搜索很早就经历过了,单机做不太难的。
但是 sorry,没有太多时间来做这样的架构分享。 |
7
kwklover OP @xuminzhong 分享一下大致思路即可,无需花很多时间做完整的架构分享哦
|
8
DCjanus 2018-10-01 15:22:38 +08:00 via Android
之前做过的一个项目,全文检索需求比较简单,一般用的是 PostgreSQL 自带全文检索,PG 10 支持分区表,但是不知道能不能对倒排索引做分区。
|
9
ddup 2018-10-02 02:12:14 +08:00
牛逼,是用的 lucene.NET 版本?
|
11
ddup 2018-10-02 09:33:45 +08:00
嘛,有个思路,数据库表水平切分了解吧? lucene .NET 也给他索引水平切分,1 一条数据,给他分 100 个索引库索引,搜索的时候并发搜索,然后合并结果,根据 score 得分排序一下。
|
12
bigtang 2023-06-05 09:34:50 +08:00
单台机器亿级数据量,参考一下 tanglib.com, 单机万亿字节数据
|