V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Distributions
Ubuntu
Fedora
CentOS
中文资源站
网易开源镜像站
jahan
V2EX  ›  Linux

rhel74 运行 selenium 截屏 chrome 网页,总是会死机,或者假死,而且无法强制退出。能不能质疑一下 Linux 的资源管理?

  •  
  •   jahan · 2018-03-29 17:58:41 +08:00 · 3825 次点击
    这是一个创建于 2463 天前的主题,其中的信息可能已经有所发展或是发生改变。

    window2012 和 linux 都是 4g 内存,同样的 cpu linux 在运行 chrome 网页 selenium 截图的时候,总是会出现假死。windows12 就不会,一直运行很稳定。 平时使用数据😢的 linux 版本,也发现 linux 下的数据库没有 2012 下的效率高、稳定性也存疑。 是不是我这里设置的问题呢?百思不得其解啊 感觉犯了大忌,质疑了 linux 的管理效率。

    或者是我设置的问题呢?请赐教

    15 条回复    2018-03-30 16:04:19 +08:00
    402645707
        1
    402645707  
       2018-03-29 18:20:04 +08:00
    chrome 内存泄漏没得洗,推特上去年 chrome 内存泄漏 bug 的时候就有 google 的员工说发的开发机是 128G 内存所以看不出来
    windows 的虚拟内存效率高,同样是刷 b 站,物理内存 4g 占用 3.7g 还能愉快 qq 网易云后台跑,linux 物理内存内存 3.5g 直接跪了
    linux 的效率你可以看看 docker,一群小机代替一个母鸡才是未来,就像当年 Wintel 联手用 X86 微型机把 Powerpc 在内的一堆平台埋葬一样
    jahan
        2
    jahan  
    OP
       2018-03-29 18:24:31 +08:00
    @402645707 那就是要换掉 chrome ?用 who ?
    Windows,服了。
    linux,多少 pc 能替代母鸡?
    jahan
        3
    jahan  
    OP
       2018-03-29 18:26:06 +08:00
    配置优化措施? linux 貌似依赖这些。
    windows 感觉是随便上
    @402645707
    neoblackcap
        4
    neoblackcap  
       2018-03-29 19:41:54 +08:00
    docker 压根就不是什么小机,就是一个资源隔离的增强版进程
    至于 chrome 内存泄漏,你是怎么用 selenium 的呢?用的是 chrome headless 模式? chromedriver 版本是多少,浏览器版本是多少?
    很多时候 driver 跟 chrome 的版本对不上会有问题的。
    jahan
        5
    jahan  
    OP
       2018-03-29 19:53:45 +08:00
    @neoblackcap 不是 headless。浏览器为最新版本。版本是按照版本映射取的最新版。
    docer 总要寄生在一个机器上吧,如果按照
    @402645707 说的,应该是一群(多少)小机( pc ?)能够取代主机?
    不过觉得很多时候时间耗费在了搭建环境上,dock er 配置部署确实方便。ova 都让人觉得方便不少
    neoblackcap
        6
    neoblackcap  
       2018-03-29 22:45:42 +08:00 via iPhone
    @jahan 不是 headless 可能是 xvfb,毕竟大家给的反馈都是用 headless 模式之后内存使用大幅减少。
    至于 docker 取代主机根本无稽之谈,docker 或者 vm 都是为了更好地利用硬件而已。就是要将内存,CPU 更好地用于生产。不存在什么替代。所谓的取代应该是基于 x86 微机的分布式集群取代大型机吧。压根都是两回事
    jahan
        7
    jahan  
    OP
       2018-03-29 23:43:53 +08:00
    @neoblackcap 有吃内存的解决方法吗?着实着急。换浏览器?貌似也绕不开。
    iwtbauh
        8
    iwtbauh  
       2018-03-29 23:52:43 +08:00 via Android
    数据库效率低?是不是 CPU 的 bug 的锅,rh 和 c 社两家是很激进的,为了安全大补特补,性能下降严重,比主线内核严重多得多
    没记错的话 windows server 系统微软说由于性能考虑默认不启用修补!!!
    如果是最新的系统,请更换自行编译的主线内核,并移除对 CPU bug 的修补,在我的笔记本电脑上 IO 性能能提升 10 倍以上
    iwtbauh
        9
    iwtbauh  
       2018-03-29 23:58:06 +08:00 via Android
    @iwtbauh 或者最省心的办法是降内核版本,降到没有这个 CPU 漏洞修补的内核版本

    用这个工具

    https://github.com/speed47/spectre-meltdown-checker

    想办法让三个漏洞修补都变成“未修补”的状态

    牺牲安全大幅度提升性能。
    jahan
        10
    jahan  
    OP
       2018-03-30 00:23:10 +08:00
    @iwtbauh 对时常跳出一个 cpu 的什么时钟错误。移除 bug,能提升这么多?非常明显?那还真是要考虑不用 7.4 了。降低内核版本之后稳定不?
    omph
        11
    omph  
       2018-03-30 10:18:05 +08:00
    selenium 不是也支持火狐吗?
    iwtbauh
        12
    iwtbauh  
       2018-03-30 13:18:17 +08:00 via Android
    @jahan 和时钟错误不是一回事。是前段时间沸沸扬扬的 Spectre 和 Meltdown 漏洞,x86 CPU 硬件出现漏洞无法修补,只能让操作系统以大幅度降低性能为代价缓解这个硬件漏洞。

    没记错的话,微软说出于性能考虑默认不在服务器版本的 Windows 上修补,想补手动打开

    其中 rh 和 c 社两家特别激进,为了安全不顾一切,给内核打了特殊的补丁!导致 rh 和 Ubuntu 性能下降最严重。在我的笔记本上 IO 性能下降 10 倍以上。平时用个 vim 都有可能卡一下。反正我受不了固定了旧内核不更新。/t/428504

    我猜测你数据库性能不高问题可能与此有关
    jahan
        13
    jahan  
    OP
       2018-03-30 15:41:13 +08:00
    @iwtbauh 用您说的脚本可以实现固件降级?另外 7.3 是不是没有打这个补丁呢?
    iwtbauh
        14
    iwtbauh  
       2018-03-30 16:03:41 +08:00 via Android
    @jahan 那个脚本就是检测是否打过补丁工具。降内核需要自己降。而且相关补丁都向前移植了,降内核可能也有修补,因此最坏的情况下需要自行编译内核。或者换 Debian 9 试试,Debian 9 直接用的主线内核的修补,可以通过传入内核命令行参数 nopti noibrs noibpb 来禁用修补
    iwtbauh
        15
    iwtbauh  
       2018-03-30 16:04:19 +08:00 via Android
    @jahan 也不一定是这个问题,你先用那个脚本检查下修补状态
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1054 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 109ms · UTC 19:18 · PVG 03:18 · LAX 11:18 · JFK 14:18
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.