例如一个爬虫,获取信息的平均速度是 4条/秒,信息存入数据库。我想问的是,这个数据库连接一直保持开着好,还是频繁开关好?
1
SR1 2015-02-15 20:16:26 +08:00
其实,这种问题,写个脚本测一下就知道了。
|
2
yangff 2015-02-15 20:17:03 +08:00
反正瓶颈是带宽..
|
3
lujiajing1126 2015-02-15 21:01:38 +08:00
。。4条每秒。。没必要考虑这么多。。
|
4
wanjun 2015-02-15 21:10:56 +08:00
当然大了,要不然就不会用连接池了
|
5
omegaga 2015-02-15 21:18:54 +08:00 via Android
有一種東西叫連接池…
|
6
dddd OP @lujiajing1126 没见过世面孩子伤不起……
|
7
loading 2015-02-15 22:16:29 +08:00 via Android
优化 sql 语句和数据结构效果更显著些,这个问题请交给连接池,或用 sqlalchemy 等帮你搞定(能吗)
|
8
9hills 2015-02-15 22:25:20 +08:00 via iPad
每秒4次基本感觉不到性能损失
|
9
john737 2015-02-15 22:55:59 +08:00
内存不够了,估计最低配的用mongo有点吃力,或者爬虫还有优化的空间
|
10
fising 2015-02-15 22:59:18 +08:00 via iPhone
保持连接和每次断开的差异非常大。楼主可以试试写1W纪录看看时间差
|
11
clino 2015-02-15 23:56:40 +08:00 via Android
积累多一些然后用事务模式批量写入效率更高
|
12
msg7086 2015-02-16 03:47:26 +08:00 via iPhone
我们论坛每秒100请求以上,每次都开新连接,压力不大。
|
13
min 2015-02-16 09:43:09 +08:00 via iPhone
开销很大
但在你这个超低负载下感觉不到 |
14
liuhaotian 2015-02-16 09:57:52 +08:00 3
呵呵哒。瓶颈是带宽。
|
15
aru 2015-02-16 12:16:20 +08:00
512M 内存跑mongodb + 爬虫,必须萌萌哒
换个大内存vps 舒服很多 |
16
tolerious 2015-03-02 10:00:51 +08:00 via iPhone
目测512M内存做爬虫吃不消,程序要吃一部分,数据库要吃一部分,爬数据量大了,512肯定挡不住的
|