目前自己是一个超菜的弱鸡。 准备做的是一个回归器模型(不是分类器)。
已经从原始输入提取出了不少特征值。但是这些特征值都还没有经过清洗。
目前观察了一下这些值,发现存在以下问题:
请问一下各位前辈,这些数据问题怎么处理?按什么顺序处理?谢谢大家了
(数据量还是比较大的,10k 条 x 2k 特征)
(我原本计划用有效值的平均值来填充无效值,但是统计后发现,离群值造成了平均值和中位值偏差太大)
1
wannaspring 2022-06-04 10:44:59 +08:00
问题 1. 根据你数据的实际情况, 如果是正态分布的,使用平均值填入,如果没有必要使用 dropna 丢弃
问题 2. pyOD 处理 outliers 不错 一般是 find na -> dropna -> labelencoder -> epa -> find outliers (interquartile ) -> handle outliers with pyOD -> data scaling(保证在同一比例) -> data spliting(train & test) -> create model -> model train -> mode evaluate |
2
wannaspring 2022-06-04 10:45:18 +08:00
@wannaspring 我个人一般这么做, 但是我也是个菜鸟
|