关于 ESXi 虚拟机间拷贝速度慢的问题

[Chauncey09]

ESXi 下虚拟机配置如下：1 、三个千兆网口虚拟化，没有直通； 2 、安装 win10 和黑群晖两个虚拟机，分别分配一个虚拟网口，剩下一个是 ESXi 使用； 3 、win10 用的虚拟硬盘空间，通过 SSD 虚拟的，黑群晖的硬盘直通，也是 SSD

问题：win10 和黑群晖之间拷贝文件速度跑不慢，具体表现如下： 1 、从黑群晖拷贝文件到 win10，一个 8G 的单文件，开始前 3G 大小速度正常，110M 左右，之后性能监控会发现 win10 磁盘利用率变为 100%，拷贝速度降到 40M 左右; 2 、从 win10 拷贝文件到黑群晖，从 110M 到 50M 左右来回波动，平均速度 70M 左右。

整体感觉两种情况下，千兆都没有跑满。

请问一下各位，上述两种情况是不是拷贝速度偏慢？应该如何解决呢？

[Tarkky]

你说的
“1 、三个千兆网口虚拟化，没有直通；”是什么意思？三个物理网卡做一个虚拟交换机的上行链路么？
“2 、安装 win10 和黑群晖两个虚拟机，分别分配一个虚拟网口，剩下一个是 ESXi 使用；”你的 win10 和群晖有几块虚拟网卡？分布在几个交换机上？你说的剩下一个是 esxi 用，我理解，有一块千兆网卡单独做 vmkernel 的管理口了？
根据你的信息，我理解，你建了一个虚拟交换机，分了三个物理千兆口，一个分给了 esxi host 做 vmkernel 管理口，剩下两个做了上行链路了。win10 和群晖各自有一块千兆虚拟网卡。对吗？
如果以上属实，你 win10 和群晖之间的通讯走的是一个虚拟交换机？他们之间的通讯是不走物理网卡的，那么速率受你的两台机器的虚拟网卡速率和虚拟交换机的性能影响。
而虚拟交换机的性能是受 CPU 性能影响的，所以你可以监控一下 host 的 CPU 占用率。另外一个问题，你 win10 的利用率 100%的问题，可能因素就多了，看看，主板芯片对 vt 的支持怎么样吧。

[dot2017]

进 esxi ssh，看一下 esxtop 里 vmkernel 的流量，如果和操作系统里的一致，那说明就是这个性能了，没有 VAAI 的情况下，esxi 的数据复制效率就是很低的

[Chauncey09]

@Tarkky 感谢您如此细致的回答！我现在建立了三个虚拟交换机，类型都是 vSwitch，每一个网卡对应一个虚拟交换机，其中一个给 esxi host 来用，剩下两个虚拟交换机分别给群晖和 win10 。刚按您说的看了一下 cpu 占用率，esxi host 占用率 29%，而虚拟 win10cpu 占用率 23%，都很低，只有虚拟 win10 的磁盘占用率逐渐升到 100%，对应拷贝速度从 110M 降到 40M 左右。

[594duck]

win10 磁盘利用率变为 100% 。磁盘 IO 不够了，前期快是因为可能有 RAID cache，后面打满了。回写速度不够吧。

什么磁盘，什么 RIAD 自己算算理论 IO 在多少。

[Chauncey09]

@594duck win10 的磁盘是 ssd 虚拟化用的，没有直通给 win10 使用 这个虚拟化的应该怎么来算呢？

[Tarkky]

@Chauncey09 #3
按你的应用来说，没必要这样分虚拟交换机啊。分三个，系统资源就占用了三份啊。你完全可以做一台虚拟交换机啊。然后 vmkernel 指定一个上联链路，剩下两个做业务的上联链路啊。你这样的话，你的 win10 到群晖的流量就走物理网卡了。不知道你还有没有其它 vm，流量就更挤占了啊。另外，你的硬盘走的什么连接方式？主板的 m2 接口？ sata ？还是 hba 卡？ raid 卡？等等。

[Chauncey09]

@Tarkky 感谢🙏，我再仔细排查一下问题！

[594duck]

@Chauncey09 你的虚拟机的物理磁盘是什么样的，虚拟磁盘是什么样的


你这个问题和虚拟交换机之类的问题可能性较低，偏磁盘 IO

[yingfengi]

看起来还是磁盘 IO 的问题。

[justaname]

这个问题我也遇到了，跟磁盘 IO 没任何关系，被网络链路卡了性能。你得把你主机的虚拟网卡和 NAS 的虚拟机网卡的 MTU 都改到 9000，另外如果有驱动的话改成 vmxnet3 的万兆虚拟网卡，SSD 起码能跑 400-500M 以上吧