V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
aku
V2EX  ›  宽带症候群

10Gb 网络问题,单线程速度很低

  •  
  •   aku · 2015-12-09 05:18:51 +08:00 via Android · 3479 次点击
    这是一个创建于 3272 天前的主题,其中的信息可能已经有所发展或是发生改变。
    单线程只有 1Gb 左右

    多线程正常
    跟硬盘没关系,跟硬盘没关系,跟硬盘没关系
    跟MTU没关系,跟MTU没关系,跟MTU没关系
    跟巨包没关系,跟巨包没关系,跟巨包没关系

    系统是 smartos ,网卡是 Intel X529

    看邮件列表也有人反应这个问题
    Oracle 的系统也有类似问题
    Freebsd 也有类似问题
    根据 Oracle 的文档推测,是单线程能分配到的 CPU 资源有关
    很可惜 smartos 跟 Solaris 还是有些差别,有的参数没效果

    但是看红帽工程师的一个 10Gb 网络调优演示
    红帽是没有这个问题的
    单线程就能跑满


    所以我想问各位
    Linux 常见发行版,比如 Ubuntu , Debian , Arch ,是不是单线程跑 10Gb 没有问题
    另外, Windows 有没有问题?

    哪位有相关经验的分享一下
    15 条回复    2015-12-11 06:49:54 +08:00
    ryd994
        1
    ryd994  
       2015-12-09 06:25:08 +08:00 via Android
    这…… U 盘启动自己测一下会比较靠谱
    aku
        2
    aku  
    OP
       2015-12-09 07:12:31 +08:00 via Android
    @ryd994 我要哭了

    上次为了一个兼容性问题

    连续测试了 freenas freebsd omnios smartos ubuntu …

    这才几天……

    😵
    人生为何如此艰难…
    geeklian
        3
    geeklian  
       2015-12-09 07:13:57 +08:00 via iPhone
    也没说什么应用,什么环境,怎么测的....
    只能推测是人品问题。
    xbb7766
        4
    xbb7766  
       2015-12-09 07:33:54 +08:00 via Android
    感觉可能是 cpu 单线程瓶颈,毕竟 10G ,不同系统下网卡驱动是不是一样啊?你说红帽没问题是不是红帽的网卡驱动方面有优化.
    lhbc
        5
    lhbc  
       2015-12-09 08:39:32 +08:00 via Android
    iperf ,我们线上测试 10G 是能跑满的。 CentOS 系统。
    另外,我们 MIPS 架构 36 核都能跑 30G 。
    ryd994
        6
    ryd994  
       2015-12-09 11:39:18 +08:00 via Android
    @aku 抽屉里一堆 U 盘,一个一个插上去重启就好了啊,反正 Linux 下同样硬件程序基本可以互换
    aku
        7
    aku  
    OP
       2015-12-09 15:04:45 +08:00 via Android
    @lhbc 你们的 iperf 是单连接测试结果还是多连接测试结果?

    我看红帽在没有任何调优的情况下单连接就好几个 Gb 了
    aku
        8
    aku  
    OP
       2015-12-09 15:07:57 +08:00 via Android
    @geeklian 你大概没有做过 1Gb 以上的网络

    上面的信息已经足够了

    又不是调优
    明显是其它大问题

    我主要是问一下其他人的不同系统的情况而已
    aku
        9
    aku  
    OP
       2015-12-09 15:14:33 +08:00 via Android
    @xbb7766 不知道是不是驱动有优化

    可能性不大

    基本可以肯定是 CPU 资源限制
    感觉还是跟 kernel 有关
    lhbc
        10
    lhbc  
       2015-12-09 17:16:09 +08:00   ❤️ 1
    @aku 默认参数直接跑
    [ 4] local 10.200.1.254 port 5001 connected with 10.200.2.254 port 59704
    [ ID] Interval Transfer Bandwidth
    [ 4] 0.0-10.0 sec 12.3 GBytes 10.6 Gbits/sec
    aku
        11
    aku  
    OP
       2015-12-09 19:27:35 +08:00 via Android
    @xbb7766
    @lhbc
    刚刚试了下,从 Ubuntu 向 smartos 发包,速度正常
    smartos 向 Ubuntu 发包,就只有 1Gb 左右

    看来要换系统了
    Solaris , BSD 太陈旧了
    lhbc
        12
    lhbc  
       2015-12-09 19:46:36 +08:00 via Android
    @aku 驱动问题吧。
    BSD 的网络不比 Linux 差。
    aku
        13
    aku  
    OP
       2015-12-09 20:10:32 +08:00
    @lhbc 很喜欢 BSD , Solaris 的一些特性
    可惜驱动太陈旧了,经常等要从 linux backport 过去
    没办法了,只能割爱了

    不过这次的问题我感觉并非驱动
    oracle 有一篇文章提到
    https://blogs.oracle.com/dlutz/entry/maximizing_nfs_client_performance_on
    虽然文章很老了,但问题依旧
    chinawrj
        14
    chinawrj  
       2015-12-09 20:35:34 +08:00
    开大你的 tcp window
    tifan
        15
    tifan  
       2015-12-11 06:49:54 +08:00
    你可以用 dtrace 跟踪一下。

    http://www.dtracebook.com/index.php/Main_Page
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1098 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 18:59 · PVG 02:59 · LAX 10:59 · JFK 13:59
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.