我试过不同的 NAS 方案，最后还是选择了自组电脑+Windows 系统。

@momo001 主流的 AI 推理都是基于 nVidia 的 CUDA 的，mac 可能可以用，我不确定。云服务器哪家都可以，主要就是需要有个固定公网 IP ，如果你在境外并且有固定公网 IP ，那不用云服务器其实也可以的。

最低成本的方案是违法的（笑）
合法的最低成本的方案就是自己家里开一台或者几台电脑（视用户数量而定），再租一台便宜的云服务器做请求排队、负载均衡和数据转发。
考虑到 AI 的硬件需求，家里电脑的配置得好一点，通常需要较新的 i7 处理器和较好的显卡（低负载下，4060 8GB 应该够用），差不多 7000 块钱一台。负载量大的时候，满载功耗 500W 左右，一天 10 度电，阶梯电价情况下，一年 2000 电费。
云服务器用便宜点的就行，阿里云那个 5M 带宽 199 一年的就可以，但是只有前三年是这个价格，后面恢复原价 2600 元每年。
相关软件你自己开发的话，费用为 0.
所以一次性投入为：7000 ；
每年持续投入为：2199 （前三年）/4600 （三年后）

如果要进一步降低成本，也可以自己买二手零部件装一台主机，比如洋垃圾 E5 的 CPU+1070 矿卡什么的。可以大大降低一次性投入的成本，不过性能和稳定性也会差很多。

GPU 服务器就别想了，最便宜的 GPU 服务器一年都要几万。

这类服务最大的问题是安全性吧？毕竟文件是要传到服务器上去的，可能还会涉及一些合规性问题。
私有部署可以解决安全性问题，但是便利性降低，市场容量也不够大。