V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要把任何和邀请码有关的内容发到 NAS 节点。

邀请码相关的内容请使用 /go/in 节点。

如果没有发送到 /go/in,那么会被移动到 /go/pointless 同时账号会被降权。如果持续触发这样的移动,会导致账号被禁用。
Puretoe
V2EX  ›  NAS

新硬盘顺序读取速度异常

  •  
  •   Puretoe · 2022-08-12 00:03:18 +08:00 · 4477 次点击
    这是一个创建于 828 天前的主题,其中的信息可能已经有所发展或是发生改变。

    刚买的威联通 NAS 和一块京东自营的希捷 16T 硬盘和淘宝南京总代的西数 16T 硬盘,刚才发现在 nas 系统里面,两块盘速度相差特别大,新手小白不知道这是否正常,淘宝店主说是希捷硬盘速度过快了不正常。

    91 条回复    2022-08-18 07:12:09 +08:00
    leavic
        1
    leavic  
       2022-08-12 00:23:50 +08:00
    机械硬盘 450MB/s 感觉是快得有点离谱
    xmumiffy
        2
    xmumiffy  
       2022-08-12 00:28:41 +08:00
    Puretoe
        4
    Puretoe  
    OP
       2022-08-12 00:41:07 +08:00
    多谢大家,重新测了一次速,数据正常了 276MB/sec
    documentzhangx66
        5
    documentzhangx66  
       2022-08-12 05:32:24 +08:00
    在 Linux 里对存储设备进行测速,需要对系统有顶级理解才行,这不是威联通与群辉之流能够做到的。懂这个层次的技术的大佬不会去这种公司,这种公司也养不起这种大佬。

    网上能搜到的那些测速方法其实是错的。
    sadfQED2
        6
    sadfQED2  
       2022-08-12 05:39:28 +08:00 via Android
    @documentzhangx66 我都是直接 dd 一个 1g 的文件进去,不对吗
    ragnaroks
        7
    ragnaroks  
       2022-08-12 08:49:48 +08:00
    机械盘(不考虑集成固态加速)我见过最高的也就 290 MiB/s 、270 MiB/s 出头,ST2000DM006 (凹陷老版)
    superrichman
        8
    superrichman  
       2022-08-12 08:50:17 +08:00 via Android
    速度异常可能是测到了缓存的部分?

    @documentzhangx66 少了一句,懂的都懂 /doge
    documentzhangx66
        9
    documentzhangx66  
       2022-08-12 08:56:08 +08:00
    @sadfQED2 不对,原因是 Linux 坑太多了,同类问题请见 Linux 的 malloc 业务流程图...

    Linux 在这类问题上的坑特别多,甚至连 ping 这种基础命令,不同发行版的逻辑都可能不一样。

    这类问题我还是喜欢用 Windows 去测,原因是因为微软 20W 工程师,人多,一人写一种场景,都能涵盖所有场景了。
    documentzhangx66
        10
    documentzhangx66  
       2022-08-12 08:56:51 +08:00
    @superrichman

    不仅是缓存,甚至同一台机器,换个 OS ,换个驱动,结论也会天差地别...

    这类测试,建议还是用 Windows 。
    superrichman
        11
    superrichman  
       2022-08-12 09:01:13 +08:00
    @documentzhangx66 控制变量法 hhhh
    abc0123xyz
        12
    abc0123xyz  
       2022-08-12 09:16:42 +08:00
    450MB/s 这是 sata 接口的 ssd 吧..
    LengSe9
        13
    LengSe9  
       2022-08-12 09:30:57 +08:00
    op 淘宝硬盘总代店铺名叫啥啊
    mozhizhu
        14
    mozhizhu  
       2022-08-12 09:44:39 +08:00
    @LengSe9 我猜是南京梵多。。
    geniussoft
        15
    geniussoft  
       2022-08-12 09:55:28 +08:00
    @documentzhangx66
    虽然有点难,但是完全不至于。

    群晖:
    https://imgur.com/a/7QGVjXy
    nevin47
        16
    nevin47  
       2022-08-12 10:05:34 +08:00   ❤️ 2
    @documentzhangx66 #9 你说错了,Linux 的 IO 栈是非常稳定的,发行版对 IO 栈的改动,也是基于公版进行的优化

    一般 Linux 下的测试异常,都是不会用工具导致的。例如楼上某位兄弟直接用 dd 来测硬盘带宽……就完全没考虑 write policy 和 page cache 影响
    ttxhxz
        17
    ttxhxz  
       2022-08-12 10:38:21 +08:00
    @LengSe9 南京出名的就南京梵多电子了吧,四大硬盘之家
    documentzhangx66
        18
    documentzhangx66  
       2022-08-12 10:45:23 +08:00
    @nevin47 我不是说它不稳,建议你仔细看看我第三行。

    我的意思是,linux 穷,因成本问题,只考虑了高性能,没能考虑小众场景,比如楼主提到的测试。
    nevin47
        19
    nevin47  
       2022-08-12 11:03:26 +08:00   ❤️ 1
    @documentzhangx66 #18 你可能没有深入加入过 Kernel 社区参与 patch 讨论和建设,Linux 社区集中了几乎所有大企业的贡献,并不穷,场景设计也极其丰富。只是很多用户在 Linux 做 Benchmark 测试的时候,不是太理解背后的计算机基本原理,导致了还抱着对工具开箱即用的思路来做测试,导致测试结果不可信。

    实际上 Windows 上的 Benchmark 也是一样的,STREAM 测内存的时候一样可以测出千奇百怪的结果,关键还是原理的理解和应用,与 OS Kernel 关系其实不大。非要说的话,Linux 代码开源,反而容易研究原理一些

    另外 Benchmark 本身也是一个极其复杂的系统工程,每年 Linux plumber conference 都会有 Benchmark 的经典 topic 出现,Benchmark 不是简单跑跑工具,而是一个学术课题
    documentzhangx66
        20
    documentzhangx66  
       2022-08-12 11:57:01 +08:00
    @nevin47

    我觉得你可能只是听别人说过 patch 讨论与建设,却没有实际去操作不同的 OS 与性能测试,手里可能也没几款存储介质,甚至懒得去不同的场景下做性能测试。我有幸参加过 IEEE 安全版块某些话题的讨论,还参与过 Oracle 分布式问题、华为员工做的交换机问题、思科路由器问题、Windows 安全问题等的讨论,并给某些厂商做了理论与技术指导。

    Windows 与 Linux 不一样,人家 20W 员工,是要吃饭的。吃饭的核心家伙,会丢给开源世界让其白嫖?不过这是商业范畴,程序员领域跨专业学金融的不多。

    Benchmark 是复杂,我也说了,坑多。但它只是复杂,并不难。如果一个人是科班的,经受过正规系统的学习,他们也会觉得,这玩意坑多。学术课题?免了吧,重本的本科论文水平都没达到,最多是个重点高中的校报水准。
    documentzhangx66
        21
    documentzhangx66  
       2022-08-12 11:59:46 +08:00
    还有一点,这性能测试异常,只有 Linux 版块提出来,隔壁 Windows 都已经在交流不同设备的性能指标了,Linux 这边却还在求测试方案,你不觉得这事奇怪嘛。
    ruidoBlanco
        22
    ruidoBlanco  
       2022-08-12 14:32:11 +08:00
    @documentzhangx66 「网上能搜到的测速方法是错的」?不明白,请明示。
    lookStupiToForce
        23
    lookStupiToForce  
       2022-08-12 14:34:27 +08:00
    感谢上面的几位大神让我又长见识了......
    原来 dd 都是错的,是说用 pgsql 发现过了那么久那么多版本了都不支持清数据缓存就觉得有点不可思议,结合来看这些都跟 linux 底层的缓存、读写策略息息相关
    nevin47
        24
    nevin47  
       2022-08-12 14:37:20 +08:00   ❤️ 2
    @documentzhangx66 #20
    -----------------
    "我觉得你可能只是听别人说过 patch 讨论与建设,却没有实际去操作不同的 OS 与性能测试,手里可能也没几款存储介质"

    ——不好意思,我过去参与过从机械到固态好几个不同类型的介质项目,包括现阶段未面世的下一代存储介质,我亲手写的或者设计的代码已经跑在了多种不同的计算节点上

    -----------------
    "Benchmark 是复杂,我也说了,坑多。但它只是复杂,并不难。如果一个人是科班的,经受过正规系统的学习,他们也会觉得,这玩意坑多。学术课题?免了吧,重本的本科论文水平都没达到,最多是个重点高中的校报水准。"

    ——ASPLOS, OSDI 一直都有 Benchmark workshop ,对对对,都是校报水平。


    另外可以和你交流一下,近一年来我们团队都在做内存相关的体系结构问题研究,约 70%的时间都在做各种 Benchmark 设计和实施上。Linux 的 IO 栈的 Benchmark 相对而言是比较容易设计而且实施的,但是类似体系结构中深层次的问题,往往需要设计非常精妙的 Benchmark 手段和工具,才能抓取到那些 ns 级别的性能差异。

    很多刚毕业的优秀的同学,刚加入团队的时候也抱着过去开箱即用的思维来进行各种标定,然后搞了一段时间发现测试数据都不能自洽。所以我会说 *很多用户在 Linux 做 Benchmark 测试的时候,不是太理解背后的计算机基本原理,导致了还抱着对工具开箱即用的思路来做测试,导致测试结果不可信。*

    最后,你提到的 Linux 和 Windows 在论坛上交流的数据差异问题,这只是一个爱好者层面的表现,实际上我们不管是在社区、业界还是学术界做性能讨论,我们会严格约定 CPU Mem IO 、BIOS 、Kernel 版本和 Kernel 关键配置,然后基于固定的这些配置,再来讨论性能。其实就算是 windows 系统,以网络 IO 为例,有的 BIOS 支持网卡的 TCP 硬卸载,有的网卡不支持,就算是同一台机器,不做好严格标定,一样可以跑出两种结论出来。
    nevin47
        25
    nevin47  
       2022-08-12 14:45:21 +08:00   ❤️ 1
    @lookStupiToForce #23 linux 的 drop cahce 可以保证 dirty page 的 IO 回写,但是 pgsql 的文件页一般都丢不掉( prot_flag 带着某个标记,我没有仔细研究过)。所以有个 pgsql 的插件专门就干这个事儿,帮忙先做页面 unmap ,然后再 drop
    lookStupiToForce
        26
    lookStupiToForce  
       2022-08-12 14:48:05 +08:00
    @nevin47 #25 感谢回答,我去搜搜这种插件
    documentzhangx66
        27
    documentzhangx66  
       2022-08-12 15:15:54 +08:00
    @nevin47

    1.你只是参与。

    2.代码跑在生产系统上,这是很常见的事情。

    3.校报水平,要看是什么学校了。杠的话,拿一些专科去比,当然比不了。

    4.你觉得题主这种测试,需要 ns 级别的结论嘛?

    5.但凡是个上课认真听讲的科班生,这背后有啥计算机基础原理深不可测?计算机专业这玩意最多算个应用科学,面对正经的物理系数学系金融系,直接被摁在地上锤,我都不好意思提这茬,你居然还拿来当宝。

    6.人家 Windows 随便搜一款主流测试工具,就能测得嗷嗷叫,你的那些同学抱着工具做测试,然后测试结果不可信,你还觉得是他们基础差?这不正是 Linux 系的缺陷嘛?为啥 Windows 就没这些破事? Linux 一款破系统设计的不好,还有理了?

    7.还爱好者...就你专业的?人家微软 20W 工程师全是爱好者嘛?你用个 Linux 还要严格约定这约定那,才能讨论性能。人家 Windows 不管台式笔记本,下个主流软件就能测个差不多的性能,所以你的意思是,你所鄙视的爱好者们用 Windows 能快速测出近似结论,然后爱好者们看着你们这些专业的,用 Linux 还要各种约定 + 各种讨论,最后还测了个空气?
    documentzhangx66
        28
    documentzhangx66  
       2022-08-12 15:18:05 +08:00
    @ruidoBlanco 谷歌上几大 IT 网站与讨论社区,Linux 上对存储设备进行测速,主推 fio ,问题是他们给的参数与测试方法,在正经服务器或几大虚拟化环境里,我就没见过测对的。我怀疑他们都是在低配的家用机上测的。Windows 没这个问题。
    GrayXu
        29
    GrayXu  
       2022-08-12 15:23:19 +08:00   ❤️ 1
    @documentzhangx66 别说太多,容易暴露水平。估计 SIGMETRICS 都是校报水平。
    documentzhangx66
        30
    documentzhangx66  
       2022-08-12 15:23:28 +08:00
    @lookStupiToForce

    这与 dd 没什么关系,你在 windows 上模拟 dd 也会遇到类似的问题。

    这个问题的本质是,现代 OS 极其复杂,注意只是复杂,并不是有多难。复杂导致其中会有多层缓存,这种针对测试很不友好。

    Windows 因为财大气粗员工多,早对这种情况做了专门的处理,因此市面上几款主流硬盘测速软件,在正经的 Windows PC 或服务器或虚拟化上,都能测个接近值。Linux 在金融架构上比 Windows 差得多,说人话就是 Linux 缺钱。我猜测可能是因为这个原因,导致 Linux 没有财力在这方面做专门的接口或适配,导致各种存储设备测速软件,测出的结果那是牛鬼蛇神。我这么说是有根据的,因为我发现一些有商业背书的 Linux 开源软件,无论是功能、测试,都一股缺钱的样子,功能缺少,测试覆盖率极差。
    documentzhangx66
        31
    documentzhangx66  
       2022-08-12 15:25:06 +08:00
    @GrayXu

    我知道我水平差。但我至少比一些连讨论都不敢,却对别人逼逼赖赖的人,要高明很多。
    documentzhangx66
        32
    documentzhangx66  
       2022-08-12 15:26:46 +08:00
    @lookStupiToForce
    另外 PG 就是个玩具,你要真想学习数据库,应该去学 Oracle ,毕竟地球上第一数据库。
    lookStupiToForce
        33
    lookStupiToForce  
       2022-08-12 15:36:29 +08:00
    @documentzhangx66 #32 你说的意思我理解
    我也没见过除了阿里,其他还有哪家金融公司和银行敢把自己的数据库系统放在任何非商业数据库上的
    但市场上这种公司只能说凤毛麟角,我还够不上🤣pg 毕竟变化快,还开源能顺带学点底层东西
    nevin47
        34
    nevin47  
       2022-08-12 15:50:22 +08:00
    @documentzhangx66 #27 你不用急,你的 1 2 4 我们不用讨论,我过去的工作有没有价值不是讨论的范围。

    你说的第 3 点,让我我觉得你可能不知道 ASPLOS 和 OSDI 是什么东西……

    第 5 点,图灵听了要流泪

    第 6 点,不管业界还是学界,没有用 windows 做性能标定的,准确说没有谁用黑盒系统做性能标定的,性能标定要么基于 Linux/FreeBSD 这种开源系统进行,要么直接 baremetal 直接冲,核心目标都是结果透明可复现。还有 Linux 的设计和 Windows 的设计没有什么高低之分,Linux 虽然有着其复杂性,但是因为可控透明,商业计算领域 Linux 依旧是最大的主流,不管 Azure 还是 Windows Server ,截止目前依旧不是主流

    最后第 7 点,你说得对啊,至少在微架构和操作系统领域,我就是比大多数水水 V 站的网友们专业啊😁😁😁至于你说的微软的工程师,据我所知 Kernel 投入的人员比你说的 20W 人少了两个半数量级吧,我觉得我勉强也有他们的平均水平低一点点的水平。

    还有你说的“测个差不多的性能”,只能说你不懂性能标定的意义和要求,操作系统是一个确定性的东西,所有东西只有黑和白,我们做测试的时候,从统计学角度会下调显著性标准,某些场景,一般会认为<0.5%是抖动,1%是偏差,>5%已经是显著差异了。所以商业场景下,每一个小数点都是确定的,没有“差不多”这个说法。加入各种约定和限制,就是为了确保标定结果的绝对可靠性
    nevin47
        35
    nevin47  
       2022-08-12 15:52:43 +08:00
    @documentzhangx66 #31 另外
    @GrayXu #29 说的其实没错,我觉得你可能也不知道 SIGMETRICS 是干嘛的。。。。
    documentzhangx66
        36
    documentzhangx66  
       2022-08-12 16:11:40 +08:00
    @nevin47

    计算机专业的问题我就不和你扯了,咱两半斤八两都觉得计算机深不可测,可对于别人物理系数学系材料系来说,计算机专业就是个文科弟弟。

    我想表达的就一点,Windows 随便搜一款主流的测速软件,都能测个大概。Linux 上没有这种开箱即用的方案,你再怎么编,再怎么说自己牛逼,问题是 Linux 上没有就是没有,别人看上去还觉得你在找借口。

    我觉得,缺陷就是缺陷,别找理由了。我并不是想吹 Windows ,我啥系统都用,但这个话题,就像 Windows 适合打游戏一样,Linux 就是没戏。
    documentzhangx66
        37
    documentzhangx66  
       2022-08-12 16:18:09 +08:00
    最后,对于题主的问题,最佳实践应该是,找台 Windows 电脑,下个 CrystalDiskMark + HD Tune Pro 测试完事。
    nevin47
        38
    nevin47  
       2022-08-12 16:57:21 +08:00   ❤️ 2
    @documentzhangx66 #36 别,我不觉得我和你半斤八两,我觉得我在我自己的领域勉强算得上入了一点点门了。还有微架构和操作系统我从来也不觉得深不可测。至于拉踩其他学科,这是饭圈行为,不是科学行为

    而开箱即用问题,我想告诉你的是,开箱即用只适合做做玩具测试,严谨的 Benchmark 还是按照科学的方法来吧,你非要我认可你这种观点也可以,那哪天任何一定顶会拿 Aida 64 的测试结论能发论文了,你 @我一下,我一定承认我的浅薄与无知
    ruidoBlanco
        39
    ruidoBlanco  
       2022-08-12 18:26:26 +08:00
    @documentzhangx66 fio 也可以在 Windows 下用,试试不就知道了它准不准了吗?「用 fio 就不准」正确与否先不说,「网上搜到的测速方法都是 fio 所以网上能搜到的测速方法是错的」是不是也太草率?

    实话实说,我做操作系统支持,这里偶尔用到 fio 。几个客户例子:

    1. 客户抱怨说我们的系统里面写入速度比另一家主流 Linux 慢,同样的机器,同样的内核版本,raw 盘写入 fio 的结果就是不一样。最后原因,我们的系统内核默认开了 INTEL_IOMMU_DEFAULT_ON 内核编译参数。有谁会想到开影响 intel 虚拟化的 iommu 会影响写入速度?
    2. 客户说我们的新版本系统 i/o 不如旧版本快。最后原因,一个 xfs 的 bug ,影响从 4.10 到大约 4.19 的所有内核版本的读写。也是 fio 测的,不过是在文件系统之上。

    Linux 下能影响 fio 结果的,甩开硬件,还有内核,i/o scheduler ,文件系统和其他我可能想不到的地方。fio 测出来的不一样,并不代表它不准,其实是可能有没找到的确实影响性能的原因。而 Windows ,一样的内核,一样的文件系统,除了硬件的不同,能测出来什么?
    documentzhangx66
        40
    documentzhangx66  
       2022-08-12 19:09:08 +08:00
    @nevin47

    这就很有意思了。

    你只是个 Linux 派,我却是中立派,不黑不吹。

    这个问题,就像游戏兼容性一样,Windows 人家就是强。你说,那不精准,那是玩具,而且 Linux 里这里那里怎样怎样,你觉得别人看你这言论,会不会觉得内外充满了快活的空气?

    承认 Linux 在这方面做的差,有那么难嘛?

    难,因为我只懂 Linux ,所以选择拉偏架,我就是要找借口,还要打压你不懂。谁让你讥讽到我的痛处了?
    documentzhangx66
        41
    documentzhangx66  
       2022-08-12 19:11:40 +08:00
    @ruidoBlanco

    1. fio 就算能在 Windows 下面用,这算主流软件吗?会不会存在问题?

    主流软件之所为兼容性高,就是因为很多人已经把该踩的雷都踩过了,该改进的 bug 也都修复了。

    2.你提的这两个客户的问题,难道不是正好印证了我的观点:Linux 就是在这个方面做的不好。
    ruidoBlanco
        42
    ruidoBlanco  
       2022-08-12 20:01:30 +08:00
    @nevin47 你我都错了。我就不该进这帖子来。
    nevin47
        43
    nevin47  
       2022-08-12 20:36:10 +08:00 via Android
    @documentzhangx66 你别把我划到什么派系里面,ball ball 了

    我们团队的研究不仅局限在 Linux ,Linux 只是因为比较好用于白盒分析所以我们常用而已,我们过去还用过很多小众的系统来满足我们的分析需求,有时候我们还会在 x86 和 arm 的裸机上直接 bringup 二进制起来进行一些测试。

    我已经说了,现在所有所谓开箱即用的性能测试工具只能做玩具性的基础标定,如果哪天 AIDA64(或者任何一个主流的开箱即用性能工具,无论任何平台)能发用来顶会了,欢迎联系我,来打我脸,我可以线下请你吃饭聊表谢意
    nevin47
        44
    nevin47  
       2022-08-12 20:39:20 +08:00 via Android
    @ruidoBlanco 我现在堵在川西路上的。。。正好和他讨论一下性能测试的议题打发一下时间

    我大概懂了他的逻辑了,他就是觉得 Linux 需要关注的变数太多了,所以就是不好。我觉得这个 GAP 来自于他没有做过性能问题的工程解决或者学术分析。。。
    liaohongxing
        45
    liaohongxing  
       2022-08-12 20:41:04 +08:00
    dd 测试要加 conv=fdatasync , 才能有点参考作用,没加速度都是假的,内存加速的结果,比如:

    dd if=/dev/zero of=/opt/test.dbf bs=4k count=200000 conv=fdatasync

    才能大约屏蔽 linux 缓存,不加的话。内存缓存起作用。IO 会偏大,根据我的实际使用,偏大一倍左右。
    liaohongxing
        46
    liaohongxing  
       2022-08-12 20:43:08 +08:00
    还有 bs=4k 这个参数,大概能看看出硬盘在小文件情况下的速度,bs 偏大就有点像顺序 IO ,写入速度也会变大。
    liaohongxing
        47
    liaohongxing  
       2022-08-12 20:46:52 +08:00
    linux 会把空闲内存大部分用来进行文件系统加速,当应用需要是,会释放出来给应用,跟 windows 不一样,linux 会完全利用空闲内存,这个内存加速对应用来说是极好的。可以说是取舍的结果。
    liaohongxing
        48
    liaohongxing  
       2022-08-12 20:51:12 +08:00
    回到楼主问题 ,你可能买到了带自带缓存的硬盘,缓存写完回归真实速度,
    还有可能买到了叠瓦盘, 没查参数哈,看下是叠瓦,还是垂直盘。两种盘速度差异是很大的。
    documentzhangx66
        49
    documentzhangx66  
       2022-08-12 23:04:44 +08:00
    @nevin47

    那这样,你觉得我的逻辑有问题,那我们就按你的逻辑来:

    请问你能用 Linux 玩暴雪游戏、玩 Steam 游戏嘛?
    documentzhangx66
        50
    documentzhangx66  
       2022-08-12 23:12:57 +08:00
    @ruidoBlanco 没有必要阴阳怪气。

    从头到尾,他只是个 Linux 领域的研究者。

    当别人问到 Linux 的一个缺陷时,他不知道 Windows 那边很好办到这事。

    然后他开始给你扯各种原因,反正就是你不懂,在 Linux 上要严谨地办到,需要先懂 A 、B 、C 、D ,然后还要实现 E 、F 、G 、H 才行。

    我并没有否认 Linux 不能办到,只是 Windows 那边 5 分钟下完测试软件,已经开始在测了。

    Linux 这边,如果按照他的逻辑,是不是要让楼主从 Linux 系统开始学起,还要再加一门硬件课程?学 2 个月后,再开始用 Linux 测?说不定还要给驱动打个补丁屏蔽掉缓存?

    这种问题,总是发生在,只懂 1 种东西,然后刚好被别人问到缺陷上,因为是自己吃饭的家伙,总不能承认有缺陷嘛,于是开始找借口,开始你不懂,开始巴拉巴拉。

    因此,两个系统,都会,都熟悉,在此刻才显得那么重要,因为你能很客观,很中立的,直接给出最佳方案,而不是让题主再去啃两本书吧?
    Sasasu
        51
    Sasasu  
       2022-08-13 00:18:44 +08:00
    @documentzhangx66 在 Windows 上,使用 ReFS v2 的固态硬盘上,全盘测速,第二次测速时速度会明显减慢。请复现并解释原因。
    Sasasu
        52
    Sasasu  
       2022-08-13 00:23:51 +08:00
    然后同样的问题在 exFat 上复现了,如何在不修改微软代码的情况下解决这个问题
    sNullp
        53
    sNullp  
       2022-08-13 00:28:08 +08:00 via iPhone   ❤️ 1
    @documentzhangx66 我在硅谷某专做存储的上市公司干了四五年,高级工程师,从没见过你这套滑稽的理论。

    Windows 的测试没什么高级的,软件开发者封装了一下做了个一键测试(这就是为什么不同软件数据不一样,但你无法解释,因为是个黑盒)。下载 5 分钟开测本质上是因为 linux 的桌面太拉胯,根本没人开发好的桌面软件。用命令行的又因为懂行的太多各有各的需求,所以非常灵活高度可配置。

    技术方面我没啥好补充的,该说的人家都说过了。
    nevin47
        54
    nevin47  
       2022-08-13 00:48:29 +08:00 via Android
    @documentzhangx66 我的车道貌似快通了,今晚最后回复你一次

    首先我的研究领域和主要工作是体系结构和操作系统,Linux 只是我们的研究路径上的一个方向之一,所以我对任何操作系统或者发行版均没有偏见

    另外,我想和你讨论的核心问题是测试的方法论,而不是某个具体的操作系统。但是我是旗帜鲜明的坚持所谓开箱即用的测试工具就是个测试玩具这个观点。同时我也反对你认为的 Linux 下 io 测试中有很多坑这个观点。
    clearc
        55
    clearc  
       2022-08-13 01:09:08 +08:00 via iPhone
    ls 两位一副关公战秦琼的味道

    其实都没说到一起去。
    Puretoe
        56
    Puretoe  
    OP
       2022-08-13 01:24:31 +08:00
    更新一下,运行了二十几个小时的完整测试,得出没有坏道,就放心了
    ![]( https://i0.hdslb.com/bfs/album/d7abbc787f6ac89d155214037218b74a0599cb79.png)
    documentzhangx66
        57
    documentzhangx66  
       2022-08-13 01:31:45 +08:00
    @nevin47

    你在前面不是牛逼轰轰地加入过 Kernel 社区参与 patch 讨论和建设吗?

    你在前面不是很有自信的极其复杂的系统工程 + 学术课题吗?

    你的团队不是在研究体系结构问题吗?

    你不是说图灵听了要流泪吗?

    你不是一直鄙视开箱即用的爱好者同学吗?



    既然你这么牛逼,

    现在开箱即用的爱好者同学,

    在 49 楼问了你一个微不足道的问题,

    为什么这么牛逼的你,突然在 54 楼焉了一样,

    不敢正面回答问题了?

    开始左右而言他了?

    还今晚最后回复我一次?

    你敢正面回复 49 楼的问题嘛?

    敢吗?别回避,别扯开话题,直接刚正面,敢吗?
    documentzhangx66
        58
    documentzhangx66  
       2022-08-13 01:39:08 +08:00
    @sNullp

    1.你不应该来参活这个问题的,因为你和他属于一路人,你们肯定有相同的立场,所以你和他,回复我的思路也一样,那就是我在 50 楼结尾两段文字所说的:

    这种问题,总是发生在,只懂 1 种东西,然后刚好被别人问到缺陷上,因为是自己吃饭的家伙,总不能承认有缺陷嘛,于是开始找借口,开始你不懂,开始巴拉巴拉。

    因此,两个系统,都会,都熟悉,在此刻才显得那么重要,因为你能很客观,很中立的,直接给出最佳方案,而不是让题主再去啃两本书吧?


    2.你为了给自己的吃饭的家伙拉偏架,着急驳倒我,你甚至没有反复审视你的发言,导致犯了很低级的错误:

    这事与 Linux 桌面是否拉胯一点关系都没有,Linux 通过包管理器,直接下载,效率甚至比 Windows 更高,你用 Linux ,连这个事情都不知道吗?

    如果你不知道,那么你这水平,怎么让你在硅谷某专做存储的上市公司干了四五年?怎么当上高级工程师的?走了后门?

    如果你水平的确强,那你为什么会犯这种低级错误?因为你是真的急了。你为什么急?因为就像我在 50 楼结尾两段文字所说的,你终于发现自己专业的缺陷,被别人戳中,你只会这个,你没办法保持客观,所以你急了,思路乱了。
    documentzhangx66
        59
    documentzhangx66  
       2022-08-13 01:46:01 +08:00
    @Sasasu

    请问,在测试期间,

    1.注意过 CPU 的负载没有?

    2.注意过 CPU 、主板与固态硬盘的温度没有?

    3.速度明显减慢,是多慢? 1%? 30%? 50%?

    我也很好奇这事,但我不想因为你的失误,而浪费我的浪费时间。如果你能确认一下以上 3 个问题,我可以考虑复现一下,因为我手头上有一大堆闲置机器与固态硬盘。
    HXM
        60
    HXM  
       2022-08-13 02:08:16 +08:00 via iPhone
    歪个楼,Steam 上确实有官方支持 Linux 的游戏,而且 Steam Deck 的 Steam OS 也是 Linux-based
    sNullp
        61
    sNullp  
       2022-08-13 02:26:13 +08:00
    aheadlead
        62
    aheadlead  
       2022-08-13 06:49:36 +08:00
    看到“微软 20W 工程师”就笑了。。。微软员工自己都不敢这么吹
    aheadlead
        63
    aheadlead  
       2022-08-13 06:55:27 +08:00
    中立派,不黑不吹——然后人家数据量几十万推荐上 o
    liaohongxing
        64
    liaohongxing  
       2022-08-13 08:13:00 +08:00
    Steam Deck 就是 linux , 还是官方发行版。
    nevin47
        65
    nevin47  
       2022-08-13 09:34:04 +08:00 via Android   ❤️ 1
    @documentzhangx66 你已经不说在讨论技术问题,是在发泄自己情绪了。Steam OS 就是 Linux 内核的,所以这个答案能不能用来回答你这个疑问了呢

    另外我以前也做过 GPU 虚拟化方面非常浅的研究,passthrough 的时候我们在虚拟机里面一样 bringup 起来了 2077 ,但是更进一步的 GPU 分发由于不是当时我们的技术目标,就没再深入了。但是现阶段各种云游戏的厂商都有一套基于集群的端到端图形渲染方案,这些也是基于 Linux 的

    周末好好享受自然时光啊,不要把时间耗费在打嘴仗上面了朋友
    nevin47
        66
    nevin47  
       2022-08-13 09:42:59 +08:00 via Android
    @Puretoe 图片 403 了😓
    testcaoy7
        67
    testcaoy7  
       2022-08-13 10:17:58 +08:00
    希捷的 Mach.2 能达到这个速度
    但是 Mach.2 目前只有 SAS 而且只有 14TB 的版本
    Sasasu
        68
    Sasasu  
       2022-08-13 11:13:20 +08:00
    @documentzhangx66
    SLC SATA SandForce 主控,你喜欢的 AS SSD 连续写入速度第一次 475MB/s 第二次 385MB/s 。
    因为 WIndows 的 exFat 驱动不支持 trim ,ReFS v2 默认不启用 trim 。

    你的论据「微软 20W 工程师,人多,一人写一种场景,都能涵盖所有场景了。」的反例,请反驳。
    Donahue
        69
    Donahue  
       2022-08-13 11:16:46 +08:00
    @documentzhangx66 其实也不是不可以,前几天我才在 ubuntu 下用 steam 安装了 csgo~ 畅玩~
    documentzhangx66
        70
    documentzhangx66  
       2022-08-13 12:49:41 +08:00
    @HXM 我知道,但那只是很小一部分,而且兼容性还有问题。
    documentzhangx66
        71
    documentzhangx66  
       2022-08-13 12:51:57 +08:00
    @aheadlead

    微软员工数量,是几年前在某些媒体资料上看到的,不是我瞎编。

    我作为中立派,已经很清楚地表达了,Linux 不适合做这件事。

    人家 VMware 都直接承认了这事,反而这所谓的 Linux 高手却一直在找借口。
    documentzhangx66
        72
    documentzhangx66  
       2022-08-13 12:52:35 +08:00
    @liaohongxing

    有,但只有很少一部分游戏,而且兼容性还差。
    documentzhangx66
        73
    documentzhangx66  
       2022-08-13 13:21:23 +08:00
    @nevin47

    1.我如果不这样说,你是否又会像你在 54 楼一样,逃避问题,或者找借口?

    2.你不是很严谨吗?为什么只回答了我在 49 楼问的问题的一半?暴雪的问题呢?没看到?还是不懂故意回避?
    documentzhangx66
        74
    documentzhangx66  
       2022-08-13 13:22:44 +08:00
    @nevin47

    3.你发现没,我说中了,你就是只懂你那一某三分地而已。证据就在于你对 Steam OS 不了解,甚至连 WIKI 也懒得去认真看。
    documentzhangx66
        75
    documentzhangx66  
       2022-08-13 13:23:21 +08:00
    此站不让发链接,发不出来。

    谷歌 WIKI + SteamOS

    Features:

    It can run games natively that have been developed for Linux and purchased from the Steam store. Users are also able to stream games from their Windows, Mac or Linux computers to one running SteamOS, and it incorporates the same family sharing and restrictions as Steam on the desktop.

    仔细看看这句话,你觉得你这回答,是答对了吗?还是只答了个真子集?
    documentzhangx66
        76
    documentzhangx66  
       2022-08-13 13:24:06 +08:00
    @nevin47

    4.所以,按照你在 44 楼的逻辑:

    你就是觉得更进一步的 GPU 分发由于不是当时你们的技术目标,所以你就搞不定这个问题。我觉得这个 GAP 来自于你没有做过游戏开发问题的工程解决或者学术分析。。。

    现在换位思考后,你明白你的逻辑错在哪里了吗?

    没看明白吗?我再简化一下:

    楼主:为什么手机膜没办法贴到显示器上?

    作为大佬的您:因为你不懂分子材料,不懂他们的参数,你需要先去学习这些学科,然后把这张膜通过 XXX 原理,使用 YYY 高端器械,通过 1 、2 、3 、4 道工序,把这张手机膜拉伸后,就能贴到显示器上了,听明白没?你这爱好者。

    楼主:??我就贴个膜,你是要我去当科学家?


    5.还是那句话,当你只懂一样东西,并且还是你吃饭的家伙,同时被别人戳穿缺陷时,你自然很难保持冷静与理智。53 楼的那位小伙伴也一样。

    换句话来说,如果你像我一样,对 Windows 的理解,和 Linux 一样深刻,你还会要求楼主和我,为了一个简单的磁盘性能测试,去把 Linux 内核默写一遍?甚至改源码重新编译?

    有问过 CrystalDiskMark 、HD Tune Pro 它们的意见吗?


    6.别再觉得自己做过 XXX ,有多高深了。兄嘚,在整个理工科体系,计算机分支,真的只算个弟弟,相当于文科......会被数学、物理、材料等学科摁在地上锤的!!我一直憋着不好意思说。


    ps:分段发是因为之前被屏蔽了,屏蔽的地方是 wiki 的 URL 。我分段发出来,找到屏蔽点后,做了处理。
    documentzhangx66
        77
    documentzhangx66  
       2022-08-13 13:30:09 +08:00
    @Sasasu

    请问,能否麻烦您,稍微认真看看,我在 59 楼,回复您的那 3 个问题嘛?

    如果您继续是这种 [严谨] 程度,我觉得,您仍然可能会测到这个结果。虽然也许问题的结论正如您所说,是 trim 的问题,并不是在我提的那 3 个问题中,但您也应该知道,严谨地控制变量法,是需要先抛弃贪心法的结论。

    我甚至遇到过因为 SATA 数据线故障,导致数据传输偶发性产生 checksum 错误,但如果不是我严谨地把问题一个个排除,估计我也会错怪 OS 甚至主板的。
    nevin47
        78
    nevin47  
       2022-08-13 13:38:21 +08:00 via Android
    @documentzhangx66 啊对对对,你说的都对,开心了吗?

    我最后强调一次,哪天你说的这一系列工具,能有任何一个,能出现在任何一个计算机领域的顶会上,即便只是任何一个子 workshop 的站会都行,那我就认可你的所有观点。记得 @我,我可以线下请你吃饭来表达我的无知的歉意
    documentzhangx66
        79
    documentzhangx66  
       2022-08-13 14:12:20 +08:00
    @nevin47

    好家伙,之前还想让我和楼主默写 Linux 源代码,现在直接要求工具先上顶会才能用了????

    假设你说对了,那顶会成啥了?

    华军软件园顶会:???

    360 软件管家顶会:???

    小米软件商城顶会:???
    bbis
        80
    bbis  
       2022-08-13 18:36:13 +08:00 via iPhone
    恭喜入坑 QNAP

    注意查看硬盘的 S.M.A.R.T ,199 这个,部分硬盘不在兼容列表,这个数字会跳得很快
    mingl0280
        81
    mingl0280  
       2022-08-14 09:39:39 +08:00 via Android
    @documentzhangx66 这是只用 Linux 的部分人员和开发者的通病:凡是我用的都是最好的,你用的都是垃圾。并且可以在说一件事的时候给你给出七八十个底层概念(其实他本人还不一定懂)来掩盖本身提出来的问题,并最后归结到“还不是你不会用 xx 系统”……这真的,在 Linux 社区里太常见了。
    回到你们俩吵的过程,其实你就是在说为什么 Linux 不能提供一致的、可比较的测速结果,他就一直在扯我这是专业用途,你要先 bla bla 再 bla bla ,丝毫不考虑用户到底要什么。
    documentzhangx66
        82
    documentzhangx66  
       2022-08-14 10:18:54 +08:00
    documentzhangx66
        83
    documentzhangx66  
       2022-08-14 10:20:42 +08:00
    @mingl0280

    是啊,最烦这种人...

    还有编程语言那边也是。所以全会是多么重要,只有这样,才能明白各种东西的优缺点,才能针对需求选择最合适的方案。
    ungrown
        84
    ungrown  
       2022-08-15 10:23:00 +08:00
    @documentzhangx66 #5
    你这说法没有错,但是过于夸张了。
    要非常精确地测速,确实需要你提到的那些知识经验水平。但如果差不太多的测速,大把的现成工具可以用。
    hdparm -tT 加块设备路径,就可以测得该设备的两个连续读取速度,一个是过缓存的,一个是不过缓存的,精度足够日常需求了。
    documentzhangx66
        85
    documentzhangx66  
       2022-08-15 14:46:58 +08:00
    @ungrown

    1.题主说了,自己是小白。针对小白用户,你觉得他需要实验室级别的测速标准嘛?

    Windows + CrystalDiskMark + HD Tune Pro 就是他的测速最佳实践方案。

    2.而且,咱们就算来谈实验室级别的测速标准,上面有两位大佬,一位自称是 Linux 内核大佬,另一位自称是存储上市公司的高级工程师。

    我虽然就一个菜鸟,但我也知道,对于 HDD ,只看单盘面,不同区域的速度就已经有性能上的巨大差异,加上多盘结构、内部封装气体差异、IO 指令是否重排等等,这些一系列复杂的玩意加在一起,谁能保证测出一个线性结果?不可能的了,因为这种情况下,结论一定是高度离散的多参数的分段函数。但你看到这两个所谓的大佬,有提到这事嘛? HDD 都这样了,SSD 更麻烦。

    这种实验室标准的测速,根本就不是在这论坛里,几个帖子能够扯清楚的。

    所以我在上面提了一句,我是
    ungrown
        86
    ungrown  
       2022-08-16 13:37:43 +08:00
    @documentzhangx66 #85
    你回复我的内容我看了三遍,没看出一个清晰的立场,倒像是几个分裂出来的人格互相攻讦、各说各的。
    你是不是杀红眼了?还是说我的回复你只是瞟了一眼压根没认真读?
    documentzhangx66
        87
    documentzhangx66  
       2022-08-16 13:51:17 +08:00
    @ungrown 建议你再认真读读。如果还理解不了,建议找同事一起讨论。
    aheadlead
        88
    aheadlead  
       2022-08-17 11:02:58 +08:00   ❤️ 1
    @documentzhangx66 #70 你至今还都没有意识到你跟别人对线的核心论题都不一样。
    扯了这么久还没聊明白 windows 和 linux 各有各的好处吗?
    我们支撑亿级用户的存储也是基于 linux 的,工程师针对业务对 IO 栈做了大量的调优,windows 行么你?

    楼主用威联通测个速有问题,你让楼主用 windows ,毫无自知在抬杠?就事论事有多难?

    “原因是因为微软 20W 工程师,人多,一人写一种场景,都能涵盖所有场景了。”
    > 微软的工程师看到你这句话,几把都笑断,你去找几个微软的人问问呗。

    “你在前面不是牛逼轰轰地加入过 Kernel 社区参与 patch 讨论和建设吗?

    你在前面不是很有自信的极其复杂的系统工程 + 学术课题吗?

    你的团队不是在研究体系结构问题吗?

    你不是说图灵听了要流泪吗?

    你不是一直鄙视开箱即用的爱好者同学吗?”
    >
    documentzhangx66
        89
    documentzhangx66  
       2022-08-17 14:01:31 +08:00
    @aheadlead

    对不起,我错了,您说得对。
    ungrown
        90
    ungrown  
       2022-08-17 16:49:34 +08:00
    @documentzhangx66 #87
    你看清楚了再回,我说的是“没看出一个清晰的立场,倒像是几个分裂出来的人格互相攻讦、各说各的”,而不是说我理解不了你写的内容。
    我能理解你写的每条内容,单拎出来也基本都认同。但合起来之后,我不明白你为什么要在几个相互对立的立场上来回横跳,而且莫名表现出一种对着虚空打靶的反击情绪。
    你觉得,我第一条回复是来攻击你的是吗,如果你觉得是,把我的攻击路径和你的受攻击点全都列出来,别在哪自顾自臆想地误解别人的意思之后再自说自话地虚空打靶对着跟你无冤无仇的人输出激烈情绪让别人无端承受你的发泄。
    documentzhangx66
        91
    documentzhangx66  
       2022-08-18 07:12:09 +08:00
    @ungrown

    对不起,我错了,您说得对。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1196 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 18:27 · PVG 02:27 · LAX 10:27 · JFK 13:27
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.