最新版 MegCC 新鲜出炉,新工具,新体验,本次版本针对用户使用体验以及模型推理性能进行全面提升,主要的提升包括:
新版 MegCC 支持了基础的 Benchmark 模块用于测试各类模型的推理性能,获取推理时各个 Kernel 的性能数据,分析模型性能瓶颈。
MegCC 新增了 Kernel C 代码导出的工具 Kernel_exporter ,用户可以通过设置所需 Kenrel 的属性,导出所需 Kernel 的 C 代码,便于进一步的移植与复用。
./kernel_exporter --arch <arch_type> --kernel <kernel_type> --use_default_attr
./kernel_exporter --arch <arch_type> --kernel <kernel_type>
arch_type 和 kernel_type 的具体参数,可以通过 --help 查看, 目前支持的 Kernel 包括:
ArgSortKernel ArgmaxKernel BatchMatmulKernel CVTransposeKernel
ConcatKernel ConvBackDataKernel ConvKernel CvtColorKernel
ElemwiseKernel ElemwiseMultiKernel FlipKernel IndexingMultiAxisKernel
IndexingOneHotKernel MatrixInvKernel MatrixMulKernel PoolingKernel
PowCKernel ReduceKernel RelayoutKernel ResizeKernel
RoiCopyKernel RotateKernel TopK TypeCvtKernel
WarpAffineKernel WarpPerspectiveKernel
a. 在初版的基础上,MegCC 对现有的 Kernel 进行了一系列优化,主要包括:
b. 优化后的模型性能:
MegCC 新版本主要对推理基础功能进行完善优化,提供 Benchmark,Kernel_exporter 等周边工具,方便用户获取推理性能以及推理模型中的 Kenrel 代码,持续优化 Kernel 性能,感兴趣的小伙伴赶快来试用啦!
更多 MegEngine 信息获取,您可以:查看文档、和 GitHub 项目。欢迎参与 MegEngine 社区贡献,成为 Awesome MegEngineer,荣誉证书、定制礼品享不停。