环境是这样的,有一个 emc 存储,节点读写能力在 400MB/s 左右,,然后有一套 vmware 的虚机。。网络是万兆
拉的 linux 虚机用的是 cent os 6.8 ,系统显示已经是万兆网络 ,cp 命令从存储到虚机本地只有 100MB/s ,而且发起从存储 A 目录拷贝到存储 B 目录也是只能达到 50MB/s (这个明显是因为拷贝过本地再写到存储的原因,所以速度减半了,好像 linux 本身不支持发起远程存储自身的拷贝)。。只是为啥只能跑到千兆
但是拉的 win 虚机从存储拷贝到本地,从存储到存储都能跑 400+MB/s
请问大神有知道是啥原因吗
1
defunct9 2022-01-04 10:04:33 +08:00
磁盘慢了吧
|
3
villivateur 2022-01-04 10:06:54 +08:00 via Android
要不你用 iperf 测下网速?然后再排除其他性能问题
|
4
cstj0505 2022-01-04 10:30:12 +08:00
这问题很有意思,我们也遇到了,双网卡 20G ,很多只能跑 3,4G ,软件层面要上万兆靠单进程性能不够,需要多进程或者多线程。再就是网络硬件都要支持。这问题一年多了 ,运维还没给我们解决
|
5
hewitt29 OP @villivateur
Connecting to host 172.21.21.243, port 5201 [ 4] local 172.21.21.8 port 59243 connected to 172.21.21.243 port 5201 [ ID] Interval Transfer Bandwidth Retr Cwnd [ 4] 0.00-1.00 sec 506 MBytes 4.24 Gbits/sec 0 273 KBytes [ 4] 1.00-2.00 sec 497 MBytes 4.17 Gbits/sec 0 273 KBytes [ 4] 2.00-3.00 sec 489 MBytes 4.10 Gbits/sec 0 273 KBytes [ 4] 3.00-4.00 sec 476 MBytes 3.99 Gbits/sec 0 273 KBytes [ 4] 4.00-5.00 sec 478 MBytes 4.01 Gbits/sec 0 273 KBytes [ 4] 5.00-6.00 sec 480 MBytes 4.03 Gbits/sec 0 273 KBytes [ 4] 6.00-7.00 sec 486 MBytes 4.07 Gbits/sec 0 273 KBytes [ 4] 7.00-8.00 sec 484 MBytes 4.06 Gbits/sec 0 273 KBytes [ 4] 8.00-9.00 sec 468 MBytes 3.93 Gbits/sec 0 273 KBytes [ 4] 9.00-10.00 sec 521 MBytes 4.37 Gbits/sec 0 273 KBytes - - - - - - - - - - - - - - - - - - - - - - - - - [ ID] Interval Transfer Bandwidth Retr [ 4] 0.00-10.00 sec 4.77 GBytes 4.10 Gbits/sec 0 sender [ 4] 0.00-10.00 sec 4.77 GBytes 4.10 Gbits/sec receiver 这是 linux 虚机到 windows 虚机做的测试 看起来至少不该卡在千兆上=。=! |
6
GrayXu 2022-01-04 12:10:21 +08:00
显然不可能“linux 本身不支持发起远程存储自身的拷贝”。
没看到你说客户端怎么挂载存储节点的。 |
7
CallMeReznov 2022-01-04 12:26:19 +08:00
巨型帧开了吗?
|
8
JoeoooLAI 2022-01-04 15:09:52 +08:00
感觉是是巨型帧问题,如果操作系统不同会有较大的速度差异的话
|
9
xinh 2022-01-04 15:59:46 +08:00
@hewitt29 在 pve 上虚拟 10G 网卡,MTU 设置 9K ,但 iperf3 测速跟文件传输速度差别好大,将就用着。
|
10
hankai17 2022-01-04 16:30:52 +08:00
win 行 linux 不行 协议栈问题?
|
11
hewitt29 OP |
13
neutrinos 2022-01-04 17:31:05 +08:00 via iPhone
用 ebpf 跟踪一下时间花在哪
|
15
hewitt29 OP @CallMeReznov @JoeoooLAI 试了下改 mtu=9000 ,并没有什么变化
|
16
lff0305 2022-01-05 11:03:25 +08:00
确认下虚拟机的网络配置(e1000 还是 vmnet/vmnet3, 现在应该是建议 vmnet3 了), 网络配置(桥接还是 NAT), 是否走了 VMWare 的虚拟交换机等等等,
再在系统里面确认下是否安装了 VmTools (网络驱动) |