1
handuo 5 天前 via Android
一块 1tb 的硬盘肯定是不够的,看你要干什么了。如果是微调 8b 左右的语言模型,你各种 hf 模型总得下载吧,几个主流的都得占用将近 159gb ,你微调过程中产生的数据很快就会达到 500gb 。再加上数据集,conda 各种包,你得一周就复制和迁移一次数据,很繁琐痛苦。如果是 cv 方向和多模态,那数据集占了大头,但是 1tb 勉强够用。如果是 8b 以上的就不用想了。
我的建议是 c 盘不用太大,但是你要把 hf_home,conda, pip cache 和 docker 默认的 data 文件夹放到别的盘,不然多大都会马上满 |
2
Donaldo 5 天前
没必要分区,分文件夹就好了。
|
3
kk2syc 5 天前 1
马上 2025 了,很难想象还有人系统盘和数据盘不分离的。
单独一个盘装系统和各种包,数据集有单独的数据盘。 |
4
jiashuaibei OP @handuo 或者我干脆不分区了呢?全给 C 盘,默认 C 盘,会有什么坑吗?
|
5
jiashuaibei OP @Donaldo 好主意
|
6
handuo 5 天前 via Android
@kk2syc 这位的建议就很好,而且我个人的偏好还是用 linux 大于 win ,首先是 cuda 和 deepseek 之类的库网上 linux 的帖子和 issues 多一些,反正我是不知道 llama-factory 能不能在 win 上完美地跑。再有就是涉及到文件系统的函数和包有小概率跟 linux 不兼容,最后就是 win 更重一些,乱七八糟的服务挺占资源的。
|
8
dcsuibian 5 天前
一款硬盘一个区,无论 macOS 、Linux 还是 Windows 都是这样
|
9
jiashuaibei OP @handuo 好的,谢谢建议。
|
10
jiashuaibei OP @dcsuibian 我也是这样想的,MacOS 默认一个分区,Linux 我也默认把所有分给 / ,但是放到 Windows 上可能那么多年分区观点一时不好克服,总是觉得不太习惯。因为我现在只有一个硬盘,因此只有一个 C 盘。
|
11
dcsuibian 5 天前
@jiashuaibei 如果是我的话,就走上策加硬盘。毕竟 SSD 也不是很贵。
不过真的就算只能用一块硬盘的话,我也仍然不会分区。以前玩 GTA5 的时候就遇到过分区导致的容量不足,自那以后我的硬盘就再也没分过区。 |
12
mumbler 5 天前
最近 10 多年一直不分区,大 C 盘,用了 7 ,8 台机器,没任何问题,mac ,linux 也没有分区,也从来没什么问题,分区为了重装系统,win10 以后我已经 10 年没重装过系统了
|
13
jiashuaibei OP @mumbler 本来今晚还有分区想法,刚刚安装了深度训练环境,都是必须装 C 盘的,简单做了一个练习 C 盘就少了 38G ,所以分了估计 C 盘也不够用。
|
14
handuo 5 天前 via Android
@jiashuaibei 真正跑起来你就知道深度学习有多占空间了,不同的开源项目之间包的冲突是家常便饭,就得新建环境,过半年随随便便 conda 就占一两百个 G 。硬盘空间不够用,就得不停删除缓存、暂时不用的环境和数据集,浪费时间
|
15
jiashuaibei OP @handuo 好的,谢谢指导,我是做毕业设计的因此 1TB 硬盘应该也够用了,现在不准备分盘了,一个 C 盘随便来吧,实在不够了就加硬盘。
|
16
coolfan 5 天前
|
17
coolfan 5 天前
如果是机器学习要用到的数据集,这种独立性非常非常强的数据,我也倾向于放在独立分区/独立的物理硬盘上。但是我的都是代码什么的~
|
18
ysc3839 5 天前
@kk2syc 不是所有人都有钱买多个硬盘,或者像 Mac 这种也没条件装多个硬盘。
如果你说单硬盘分多个区的话,那会出现两个分区无法共享可用空间的问题。 除非当前操作系统提供了一种能共享可用空间的方案,否则我不会也不推荐别人分多个区。 比如 Windows 目前没有共享可用空间的方案,我就不会推荐。 Linux 的 btrfs 可以共享可用空间,我会选择使用 btrfs 并很细致地分区。但如果别人用 Linux 拒绝选择 btrfs ,我也不会推荐。 |
19
Donahue 5 天前
深度学习一般用 ubuntu 吧,没有 C 盘这个说法
|
20
charm 5 天前
@jiashuaibei #4 如果要重装系统的时候怎么办?格式化系统盘的话所有数据不就丢了?
|
21
jiashuaibei OP @charm 不会的,重装时候选择保留数据,会自动备份到 windows.old ,不过需要重装系统我一般手动把数据备份到移动硬盘。
|
22
Sawyerhou 4 天前
不分,或者分 64G ,或者 128G ; )
|
25
kk2syc 4 天前
@ysc3839 真牛逼哦,你要杠别人 mac 怎么挂载算有条件,雷电磁盘阵列柜你买一个啊。大家都是关心数据安全,关心环境部署,就你特奇葩,有没有钱关你我什么事?提建议还要考虑有没有钱?我方案给到了,有钱就上,没钱不行就拉倒,没钱自然有没钱的玩法,但是就属你最牛逼,钢筋。
|
26
Kazetachinu 3 天前
|