简单说说我的想法吧。

要想做 AI 应用方向，还能取得独特的竞争力，至少需要：
1. 会训练模型；
2. 如果需要在端侧部署，需要熟悉一些推理框架，以及设备都有哪些限制。

其中，
第一点需要有数据收集、整理、清洗，以及编写训练代码的能力；
第二点需要了解 ONNX 格式（可以谷歌搜索一下）。今天的 pytorch 模型转 ONNX 比几年前容易得多，但是有时候会遇到问题，比如有不兼容的算子，或者某个模型的开源代码用了 CUDA 库实现，那么就需要自己动手解决。
有了 ONNX 之后，一般各种设备都会提供转换 ONNX 模型到专用模型格式的工具，或者它可以直接加载运行 ONNX 模型。
但是可能会有性能问题，取决于设备。有时候调换一下模型权重数据的不同维度，实际运行性能可能有几十倍的差距。

LLM 出现之前的绝大多数模型，都可以用一张 3090 显卡来训练（像 BERT 模型这个规模的不行）或者微调（对下游任务，自己微调 BERT 是可行的）。
一般来说，做应用开发方向不需要自己发明新的模型架构。但是世界上绝大多数开放权重的模型只是为了验证论文中的数据，是用数量非常有限的，没有版权问题的数据训练出来的。

或者它已经用了大量数据来做预训练。但是，没有针对你需要的下游任务做微调。
这时候就需要自己去训练或者微调它。


如果是 LLM 相关的应用，那上面的一切都不需要学，只需要会调用 API ，平时多玩玩 LLM 就可以了。今天的 LLM 都强大到 Prompt 随便写，都有不错的效果了。
如果是 AI 画图的应用，可能需要自己训练一些 LoRA ，来实现别人不具备的产品竞争力。如果只是网上公开的模型部署在服务器上给人用，现在的平台太多了，很难有独特的优势。



有很多产品思路，实际上用以前的模型就能实现。但是当年的硬件性能很低，而且没有搭载 NPU ，用显卡来跑的话，功耗和发热非常高，噪音很高，而且电脑会卡到什么事情都做不了。
今天 NPU 逐渐普及到电脑上之后，当年很多只存在于服务器上或者论文里的模型算法，已经可以落地到实际产品中了。

随便举些例子：
做自带和弦识别的音乐播放器（也许搞音乐的会用得上）；
自动制谱的音游；
利用强化学习实现的，可以人机对战的单机游戏。不是棋牌类，而是实时操作的类型；
相册，但是识别图片中的动漫角色叫什么名字，出自什么作品，支持自然语言搜索，还可以自动创建分类；
自动对敏感信息打码的截图工具（有 v 友已经做过了，但我记得只支持 iOS ）

AI 应用的思路，不能局限在一两个模型上。平时可以找找目前都有哪些模型，然后想想这些模型的能力可以用在软件的哪些功能上面。