1
israinbow 2023-04-05 20:04:40 +08:00 1
换操作系统, 1.5 个 G 是 windows 预留的占位显存空间
或者了解一下内存原理, 这样就可以解决占用烦恼了. |
2
MossFox 2023-04-05 20:17:03 +08:00 1
|
3
ETiV 2023-04-05 20:35:21 +08:00 via iPhone 1
刚刚看到了这个项目 https://github.com/Jittor/JittorLLMs
针对 LZ 显存少的问题,它是这么说的: …… 针对大模型显存消耗大等痛点,Jittor 团队研发了动态交换技术,根据我们调研,Jittor 框架是世界上首个支持动态图变量自动交换功能的框架,区别于以往的基于静态图交换技术,用户不需要修改任何代码,原生的动态图代码即可直接支持张量交换,张量数据可以在显存-内存-硬盘之间自动交换,降低用户开发难度。 同时,根据我们调研,Jittor 大模型推理库也是目前对配置门槛要求最低的框架,只需要参数磁盘空间和 2G 内存,无需显卡,也可以部署大模型,下面是在不同硬件配置条件下的资源消耗与速度对比。可以发现,JittorLLMs 在显存充足的情况下,性能优于同类框架,而显存不足甚至没有显卡,JittorLLMs 都能以一定速度运行。 …… |
4
kokutou 2023-04-05 21:08:35 +08:00 via Android 1
nv 控制面板菜单,gpu 指示器。
看看是哪些程序占用独显。 设置-显示设置里,单独设置成核显就行。 笔记本接口都试一下,有的口是直连核显,有的是直连独显,要接在核显接口上。 |