1
ZedRover 257 天前
深度学习吗 我平时做 tabular 数据跟时序数据多一点
|
2
Yuhyeong 257 天前
什么方向,最近做 StableDiffusion 多一些。传统机器学习也没什么问题
|
3
seetheworld OP @ZedRover 不是深度学习,就是传统机器学习,新手,不太懂如何保证训练出来的模型(比如 RF 、XGBoots )是正确的,没有过拟合或欠拟合
|
4
seetheworld OP @Yuhyeong 是传统机器学习,最近写了一个代码,训练出来了一个 RF 模型,在训练集和测试集上的 R^2 都达到了几乎是 1 ,不知道是不是有问题
|
5
Yuhyeong 257 天前
强化学习?这个没怎么接触过
|
7
jasonlee16819 257 天前
菜狗 AI 训练师一枚,只知道训模型,数据或者模型训练方法层面上了解的比较多
|
8
kkjz 257 天前
sklearn 包+dl 的 cv ,欢迎交流~
|
10
airqj 257 天前
@seetheworld #4 是不是训练集数据分布不均匀
|
11
seetheworld OP @jasonlee16819 模型训出来,如何判断靠不靠谱,目前很迷茫
|
12
seetheworld OP @airqj 意思是数据范围跨度不够广?集中在某一范围内么?
|
13
seetheworld OP @kkjz 我们也是用的 sklearn 包,摸索学习阶段,多多交流
|
14
fengzc 257 天前 via Android
各种指标对一对 什么 PR F1 (去看看每个指标的意义)就能看出是不是过拟合和欠拟合了,也可以去找找更多的数据集试试?一般机器学习在小规模数据集上到 1 其实都是可能的,因为一些特征可能给大家摸索烂了
|
15
leopod1995 257 天前
|
16
seetheworld OP @fengzc PR F1 是不是分类器的指标?我们训练的是 RF 回归模型,看的 R^2 ,RMSE, MAE 。在训练集上 R^2 是 1 ,MAE=0.4, RMSE=4.2 ,在测试集上 R^2=0.96, MAE=1.2, RMSE=11.2 。但纯看这几个指标不知道能否确定模型是否正确。
|
17
v24radiant 257 天前
RF 是指随机森林吗?怎么不试一下 xgboost?
|
18
Sawyerhou 257 天前
机器学习应该有三个数据集,训练、验证、测试,你是省略了一个?
R 方是线性回归的评估指标,非线性的不太适用, 你这个 R 方非常高,是课本数据?生产中 R 方应该不会这么高 模型收敛了,可以满足场景需求就可以了,其他不用太在意 |
19
Djaron 257 天前
一直在做 ML 和 DL ,绿色软件: Vy1KZWZmcmV5LURvbmc=
|
20
jasonlee16819 257 天前
@seetheworld
首先得确定数据,训验集划分是否正确,数量,分布情况如何?是否有数据集泄漏或者同源情况,是否是训练集过大而测试集过小或丰富度远不如训练集的情况...... 上边也有一些大佬说了这些问题,比如过拟合啥的 |
21
DigitalG 257 天前
说起来,机器学习/AI ,有什么比较活跃的社区吗? reddit/huggingface/AutoDL 姑且都算 这类,还有没有别的。
|
22
seetheworld OP @v24radiant 是的随机森林,下一步准备去试 XGBoost ,但这之前想把随机森林搞搞清楚
|
23
lovegoogle 257 天前
AI 深度学习,机器学习(从 svm 到集成都做过),有自己的服务器,接过多个有关项目,需要合作可联系~
|
24
seetheworld OP @lovegoogle 可否加 wx:gyn2013216 进一步交流
|
25
seetheworld OP @jasonlee16819 嗯嗯,谢谢建议,去仔细检查分析下
|
26
lkx4102 257 天前
1 、看你训练集、测试集的 MAE ,RMSE 说明你的模型已经过拟合了
2 、R^2 = 1 - MSE/VAR ,看测试集的 RMSE 是比价大的,MSE 应该是会比较的大,那可能就是测试集的方差特别大 3 、随机森林不适合做回归预测 |
28
seetheworld OP @lkx4102 这是什么呀 T_T
|
29
lkx4102 257 天前
@seetheworld 微信,base64 编码
|
30
airqj 257 天前
@seetheworld #12 是的
|
31
cbythe434 257 天前
测试集表现差比较多,参数调整下吧,深度搞浅一点,样本数量阈值拔一拔
|
32
Jimmyisme 257 天前
居然能在 v2 看到机器学习,强烈建议 op 做一下 kaggle 的 https://www.kaggle.com/learn/intro-to-machine-learning ;
这上面有很多讲解,而且因为 notebook 都是有奖牌的,所以都会做的很 fancy 。比自己看书学有意思很多。 |
33
Jimmyisme 257 天前
前几年还能看到 ml 的金牌,但是最近几年的比赛 ml 都不太 work 了哈哈
|
34
reoah2 257 天前
划分好训练集,验证集,测试集
|
35
fengzc 257 天前
@seetheworld 对的( PR 等),我感觉这个 R 方等于 1 ,很大情况是和上面几位说的数据上有问题,应该是有大佬在帮 op 了,祝顺利哈哈
|
36
seetheworld OP @Jimmyisme 感谢,去看了一下,确实挺不错的。
|