在做生物信息学分析过程中,用到的软件为 R/python ,和一些其他生物分析常用软件,在跑多线程任务时候经常出问题。
1 ) 多线程任务,
1.1 ) 比如,Error in unserialize(node$con) ,还有一些 warning ,说是线程没有返回结果(还有其他一些线程错误代码)
1.2) R 和其他的软件在跑多线程的时候,用的__好像__是 c++, 是我 c++还需要进行适配嘛?
1.3) 我 python 跑一些多线程任务时候好像就比较稳定。
2 ) 有些数据存储过程不稳定;
2.1 ) 下载的生信数据(fastq.gz)md5sum 不知道什么原因就变了(数据有些 quality, reads 长度不一致),数据不可用
2.2) 但我的一些其他数据好像没有问题,一些基于 R/python 存储的对象,csv ,txt 的超大表格等,没有问题,可以正常读取,数据重新跑,结果也能完美重复,但是我没有 check 过 md5sum
尝试过的解决方法:
1 ) 重装系统,
2 ) 换硬盘(固态 -> 硬盘 -> 固态),硬盘挂载方式也从 lvm -> 直接挂载
3 ) ubuntu 桌面卸载
4 ) 换软件版本(尝试了超多的版本)
都不行
后来用公司服务器跑就没有什么问题(公司用的是铂金的 cpu )。采取和我本地电脑相同的软件配置,相同的数据。
1 ) 数据稳定
2 ) 一些软件没有报错
目前我只能暂定认为是硬件稳定性不好,
吐血求助: 到底是哪里问题,1 )是家用主板是不是当不了 server ,2 )还是我个人配置问题,3 )还是我硬件没有氪金上高档的。
我的配置是:
CPU 12700 (散片),
主板 MSI-B660M ,
内存 DDR4 asgrad 32GB x 3 ,16GB x 1 ( 22 年购买,用的是网上相对很便宜的 DDR4 )
系统 Ubuntu
1
a22271001 288 天前
看程序代码
|
2
LittleSho 288 天前 via Android
内存用 memtest86 跑 4 圈看看有没有 error
CPU 用 intel 处理器诊断工具跑一遍试试(需要在 windows 下跑) |
3
weidaizi 288 天前
😂 md5sum 变了这个还有可能是硬盘的问题,但是 OP 说线程返回错误,这个锅都要系统/硬件来背是不是夸张了
而且啥代码都不贴,给个报错信息,别人怎么知道是什么错误? |
4
kkkbbb 288 天前
操作系统多线程不稳定,头一次听说也是
|
5
F7TsdQL45E0jmoiG 287 天前
服务器内存有 ecc 校验
|
6
F7TsdQL45E0jmoiG 287 天前
另外,disable cpu 超线程
|
7
ShuWei 287 天前
极大概率是代码的锅
|
8
laqow 287 天前
下载国外数据大概率出错是国内网络特色。另外如果通过移动机械硬盘拷贝 10G 以上数据大概率会出现写入错误,应该用带校正的软件拷贝。ubuntu 默认是缓存读写硬盘,卸载移动硬盘前应该运行 sync 合并缓存。
python 和 R 原生都是假的多线程,使用 sock 方式实现共享内存时需要复制主进程所有内存,很容易就内存不足。ubuntu 下可以使用 fork 方式实现内存共享。 |
9
imlm 282 天前
生信数据库数据 md5sum 校验出问题大概率是网络问题,特别是特别大的 fq 文件,建议更换网络。有些时候为了防止传输 fq 文件中的出错,我会选择做私人种子传输😓
|
10
tomychen 277 天前
检查内存吧 当年撸了个 copy file 因为内存问题,搞得我怀疑人生,直到有一天,我无意中 cp xxx.iso /tmp/xxx.iso
然后 再 check md5 才发现错怪了自己 |
11
faoisdjioga OP 测试了很多。mmtest 显示内存有问题。
不打算继续买内存做测试了。大概率是内存的问题。CPU 和其他硬盘都测了,没有问题。 |