1
limuxy 2015-08-04 23:09:42 +08:00 via Android
为什么要存进数据库啊 会经常搜索同样的关键词? #我是来消灭零回复的#
|
2
anexplore 2015-08-04 23:16:09 +08:00
google会封你不
|
3
Fing OP @limuxy 刚做出来的时候不放,后来由于国内要备案,而且做这个站的目的很单纯,所以我选择要过滤一批数据,用数据库过滤,感觉跟栈的概念差不多,先放进去再拿出来~
|
9
zhicheng 2015-08-04 23:30:10 +08:00
我写过一个 es + crawler ,基本可以实现一个简单的 Search Engine 了,可以爬指定站,各位小伙伴有兴趣吗?
|
10
limuxy 2015-08-04 23:35:18 +08:00 via Android
@Fing 直接在内存里处理不是比较快么 写进去再读出来很影响性能吧
话说为了能备案也不容易 还得自我审查啊 |
12
Fing OP @limuxy 我也跟你有同样的想法,所以我才想到到V2发贴,多一点访问我好在后台看状态。然后目前的情况就是:
1,服务器负载很小,做这些读写操作不会影响到服务器的运行。 2,内存处理跟这种读写的方式也许会有延时,不过是ms为单位,而这个站点主要做的是抓取google国外站,抓取分析可能要2-6秒,所以后者是s为单位,所以前者的ms级别对于这个站点就微乎其微了。而且对于常用关键词放到数据库反而是个缓存,这是我目前的想法。 |
13
tdifg 2015-08-05 10:47:59 +08:00
还以为是自己爬呢,原来是爬google啊。ok,当镜像站收了……
|
15
invite 2015-08-05 11:44:24 +08:00
没看明白,这个不就是一个代理?主要想做哪方面技术攻关?
|
16
zhuzhenyu 2015-08-05 13:08:49 +08:00
|
20
heaton_nobu 2015-08-05 17:45:39 +08:00
搜索结果url中文没有编码回来
下面分页没有显示当前页码 搜索某个关键词后14页往后结果都一样,但是可以不断向后翻页 |
21
Fing OP @heaton_nobu 你是棒棒的
|
22
WKPlus 2015-08-06 13:45:08 +08:00
是我在googlebridge上搜索一个词,然后googlebridge实时去搜索google,然后把结果缓存起来供下次使用的意思么?
话说,如果只是要看性能,自己不是也可以测试么? |
24
sinosure 2015-08-08 17:05:49 +08:00
提个建议,可否支持类似这种搜索,site:v2ex.com/t bottle,算是v2ex的福利了
|
25
Fing OP |
26
sinosure 2015-09-05 17:00:49 +08:00
好用,我用 wox 建了个快捷方式,这下查东西方便了, v 对应在 V2EX 下查, gg 对应在 googlebridge 下查。非常赞。貌似作者还是个 wower
|
28
sinosure 2015-09-05 17:26:50 +08:00
wox 凑合用了,也没见到 win 下其他类似的更新的很勤快吧
|