V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
cqcn1991
V2EX  ›  问与答

[统计与概率]怎么考虑数据的时间变动性(非平稳)?

  •  
  •   cqcn1991 · 2017-10-13 14:40:36 +08:00 · 1152 次点击
    这是一个创建于 2628 天前的主题,其中的信息可能已经有所发展或是发生改变。

    比如说,我基于 1996-2005 年的数据,拟合了两个模型, 得到拟合优度如图

    index.png

    可以看到GMM 是比Kappa略差的 (越接近 0,拟合效果越好)

    但是,数据本身是有变动性的,实际上可能值在 0.05 以内就已经很好,再低已经没有价值

    这个时候,拿着拟合的模型,对未知数据(2006-2015),计算拟合优度

    index2.png

    即可发现这个现象

    简单来说,也就是

    • 考虑数据本身变动性(非平稳性)的情况下,对于拟合的要求不能过高

    • 两张图的结论,也从 Kappa 比 GMM 略好,变成了两者都足够好


    我的问题:

    • 我自己不是学统计的,想问下有什么比较专业的方法可以用来分析、阐明这个问题?

    • 比如,对比数据本身的变动性(不考虑时间因素),可以用 Bootstrap, 重复抽样来研究

    4 条回复    2017-10-14 22:39:38 +08:00
    27
        1
    27  
       2017-10-14 18:44:20 +08:00
    这是在说其中一个模型过拟合了?
    cqcn1991
        2
    cqcn1991  
    OP
       2017-10-14 18:54:01 +08:00 via iPhone
    @27 差不多,只是在时间维度上
    27
        3
    27  
       2017-10-14 19:38:39 +08:00
    一般在训练过程中的拟合结果是不能证明模型的优劣的,需要拿到测试集上跑结果才能看出来
    不太了解你这两个模型是什么,假如测试效果一样的话,那么更简单的模型更好,因为泛化性更强
    cqcn1991
        4
    cqcn1991  
    OP
       2017-10-14 22:39:38 +08:00 via iPhone
    @27 明白了~
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4636 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 10:05 · PVG 18:05 · LAX 02:05 · JFK 05:05
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.