V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  oceaniaxie  ›  全部回复第 1 页 / 共 1 页
回复总数  1
2023-03-31 09:52:27 +08:00
回复了 among 创建的主题 机器学习 AI 中,同样的模型,在不同显卡上运行,结果会有差异吗?
可不可以把不同机器的模型推理库和 CUDA/CuDNN 分别列一下?包括版本。能想到的影响推理结果的因素:1. 有些推理引擎 /库会进行模型量化( Quantization ),比如把 FP32 浮点数压缩成 FP16 浮点数甚至 INT8 整数,当然会影响结果了。2.有些复杂一点的模型操作,在不同推理库中的实现方式有差异。3.图像数据前处理方式有差异,比如是不是用了相同的参数进行 Normalization 、是不是 Reszie 成了相同的大小? 4.识别结果后处理方式有差异,比如非极大抑制 NMS 参数是不是相同的?置信度阈值是否一样?

如果要进行细致的排错,可以按步骤来,分别在两个推理环境中,用同一张图片作为输入,输出前处理后的图像、特征层、模型输出、后处理之后的结果等等中间结果。然后就可以定位到问题出在哪个环节了。
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   998 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 15ms · UTC 20:02 · PVG 04:02 · LAX 12:02 · JFK 15:02
Developed with CodeLauncher
♥ Do have faith in what you're doing.