感觉很吃配置,在 1g 内存的 vps 上运行,各种出错。。要么 java 内存不够了,要么 es 连接超时了。。蓝瘦
本地开发可以了,还有一个问题,es生产环境的最低配置是多少呢?,主要用来做图片的检索
1
mokeyjay 2019-05-16 10:40:29 +08:00
开发就在本地嘛
|
2
xpresslink 2019-05-16 10:41:37 +08:00 4
省钱和省事之间通常都是有冲突的。
|
4
shyling 2019-05-16 10:42:54 +08:00
你手机运存都不止 1g 了。。。。1g 只是玩具。。。
|
5
kwklover 2019-05-16 10:43:18 +08:00 via Android
你用 ES 做什么用途?ES 都是吃内存大户。
|
6
xpresslink 2019-05-16 10:43:55 +08:00
你在本机弄个 32G 内存,开虚拟机跑个 Docker 吧。没好办法,es 最少要 2G 内存才能正常跑起来。
|
7
Vegetable 2019-05-16 10:44:46 +08:00
JAVA 系的东西是很吃内存呀
|
8
gosansam 2019-05-16 10:46:13 +08:00
虚拟内存搞起来 docker 搞起来
|
10
cooljs OP |
12
misaka19000 2019-05-16 10:52:46 +08:00
1g。。。Java 本来就吃内存,然后 Lucene 还要依赖 page_cache,1g 就不要用 ES 了吧
|
13
Navee 2019-05-16 10:53:36 +08:00
测试用本地跑 1g 内存是够的
在 vps 跑要看你 vps 是什么实例,那种小型实例有 1g 内存也不要折腾了,cpu、磁盘都是瓶颈 |
14
misaka19000 2019-05-16 10:53:57 +08:00
而且 ES 不组集群不能使用到 ES 的优势特性,楼主是为了使用 ES 的搜索特性吗?
|
15
liuxey 2019-05-16 10:54:57 +08:00
应该是 1g 内存的 vps 不适合 elasticsearch 开发
|
17
xiaoyangsa 2019-05-16 11:04:45 +08:00
1g 服务器可以做.域名映射到本地吧~
|
18
zjsxwc 2019-05-16 11:07:04 +08:00
ES 本来就是给集群跑的,单机还容易跑挂掉的
|
19
cooljs OP @misaka19000 是的,主要是为了他的搜索特性
|
20
wyntalgeer 2019-05-16 11:07:45 +08:00
1g 的 VPS 就不要运行 java 程序了吧
|
21
chennqqi 2019-05-16 11:07:46 +08:00
楼主非要在 1G 环境下跑可以设置 jvm.options 里
-Xms2g -> -Xms1g#设置最小堆的值为 1g -Xmx2g -> -Xmx1g #设置组大堆的值为 1g |
23
ospider 2019-05-16 11:08:15 +08:00
可以试试 sonic,rust 写的,非常省内存
|
24
cooljs OP @chennqqi 嘿嘿,1g 也跑不起来,直接`JavaThread "Unknown thread"`,必须 512m 才行
|
25
AngryPanda 2019-05-16 11:10:43 +08:00
楼主还有个选择,使用云版 es
|
26
iyaozhen 2019-05-16 11:11:45 +08:00 via Android 1
1g 玩个 dan,我们 10 台 128g 内存、3t ssd 的机器都存不了啥,分片都不敢开多。说的不好听,没资源还是不要入坑,当然自己学习可以本机玩玩。
数据量不大,说真的 MySQL 就行了 |
28
cooljs OP @xiaoyangsa 没有公网 ip,可以映射吗
|
31
misaka19000 2019-05-16 11:16:25 +08:00
楼上加一,数据量不多直接全文检索就可以搞定
|
32
chinesestudio 2019-05-16 11:17:39 +08:00 via Android
本地开发 frp 穿透 512 也够
|
33
misaka19000 2019-05-16 11:17:46 +08:00
或者自己分词然后计算一下相关度,虽然简陋不过应该可以应付一些情况了
|
34
Proxy233 2019-05-16 11:17:56 +08:00 via Android
测试和个人可以试试这个: https://app.vizion.ai
|
36
cooljs OP @AngryPanda 是不是小贵的那种
|
39
testplusplus 2019-05-16 11:20:26 +08:00
1g 内存上 ES ?一般不都是关系型数据库扛不住查询之后才会去用吗
|
40
cooljs OP @misaka19000 嗯,不行就换数据库了,
|
41
deepzz 2019-05-16 11:23:30 +08:00 via iPhone
本人博客就上了 es,哈哈。
|
42
fxxkgw 2019-05-16 11:24:33 +08:00
这玩意是真的吃内存 我一直都觉得是自己太菜 没优化好他的配置。。什么看源码 不可能看的。
|
44
JackyCDK 2019-05-16 11:25:24 +08:00
把这台机改成 ngrok 呗...
|
52
yepinf 2019-05-16 11:55:15 +08:00 via iPhone
不妨试试 solr 比较省内存
|
54
DeepRedApple 2019-05-16 11:56:27 +08:00
直接虚拟机或者 Docker 跑,可以的
|
55
moodasmood 2019-05-16 11:58:19 +08:00 via Android
我们公司 es 集群都是 88 核的机器
|
56
fyibmsd 2019-05-16 11:58:23 +08:00
不止 1g 不够 至少也要三台机器吧
|
58
neoblackcap 2019-05-16 12:15:21 +08:00
es 算是穷人的搜索引擎,他们家的东西啊,大企业都觉得可用吧,但跟商业的比起来也就那样了。他们工程师都透露 elk 整套东西对内存的利用不咋地
|
59
jamblues 2019-05-16 12:18:03 +08:00 via iPhone
图片检索 mysql +redis 就够用了 simhash 分段检索 降维 轻轻松松 实在不行可以上穷人玩的 sphinx
|
60
LukeChien 2019-05-16 12:20:50 +08:00 via Android
国外有云托管,在各个公有云上有节点,共享集群
|
61
lusi1990 2019-05-16 12:30:54 +08:00 via Android
看下官方文档 ,有最低配置和建议配置
|
62
hurrytospring 2019-05-16 13:19:07 +08:00
本地跑方法太多了。。改 host 文件,代理,关闭验证。。。
|
63
TimLang 2019-05-16 13:31:40 +08:00
如果你是小站长,肯定不适合用 elasticsearch,成本(服务器)太高,建议使用 postgresql,可以搜索下,自带全文检索,而且有现成的分词插件。
|
64
iyangyuan 2019-05-16 14:13:07 +08:00 via iPhone
小站直接用 mysql 自己实现倒排索引,简单高效
|
67
cooljs OP @neoblackcap 你这个问题,堆配置就可以解决,,估计是这样的😂
|
68
cooljs OP |
69
hxt 2019-05-16 15:12:19 +08:00
你要存的数据量是多少级别的,访问量多少?字段配置把要用到查询的字段设为 index,其他的字段用 store 类型。jvm 设小点,以及 linux 加下虚拟内存。数据量不多配置合理访问量也不多 1g 机器可以跑的。
|
70
AlloVince 2019-05-16 16:40:51 +08:00
x-pack 是付费的,报价是$5000/节点 /年,3 nodes 起卖,个人用户老老实实用云服务吧
|
71
cooljs OP @hxt 我 bulk 存入 4000 条数据,总是超时,就两个字段一个 text,一个 keyword,我试着加下虚拟内存
|
73
rrfeng 2019-05-16 17:40:01 +08:00
这就好比你有 10G 数据要分析起了个 hadoop ?
|
75
fiht 2019-05-16 19:06:23 +08:00
楼主你有空看一下这个---> https://github.com/valeriansaliou/sonic
试用一下看行不行,我 star 了还没来得及试用 |
76
cabing 2019-05-16 21:21:06 +08:00
不一定非得 es 吧。自己玩找个开源的也行。
|
77
glfpes 2019-05-16 21:25:10 +08:00 via Android
可以购买云服务商的 es 服务
|
79
fengjianxinghun 2019-05-16 22:12:41 +08:00 via iPhone
rust 的 sonic 穷鬼的 es
|
81
EugeneYWang 2019-05-16 22:24:03 +08:00
|
82
EugeneYWang 2019-05-16 22:25:49 +08:00
BTW,我个人不是阿里的员工。只是了解过他们跟 PG 的部分相关公开信息。
|
83
flashrick 2019-05-17 09:11:55 +08:00
讯搜呢?听说过没用过
|
84
cooljs OP |
85
alexmy 2019-05-17 10:45:41 +08:00
自己玩的话,那些大器物本地用用就好啦,小服务器撑不起。
|
86
brust 2019-05-29 16:25:07 +08:00
我的 es 都是限制 128m 的
因为没钱 1 核 1G |
88
kwklover 2019-06-12 20:52:51 +08:00 via Android
如果是用于站内搜索,可以试试我的小作品 www.searcheasy.net 一核一 G 照样能跑啊
|