用神经网络做预测，训练出来的权值和阈值都是 nan 值，误差越训练越大，求解？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2731 天前的主题，其中的信息可能已经有所发展或是发生改变。

论文题目选的这方面，自己也的确没有基础，参考了别人的代码，结果就悲剧了 = =
代码和数据，在这里： http://bbs.csdn.net/topics/392171719
请大家帮忙看看，感激不尽！

权值

代码

神经网络

NaN

16 条回复 • 2017-05-25 21:25:26 +08:00

Madcrow

2017-05-25 00:01:54 +08:00 via Android

梯度爆炸了吧

nixing123

2017-05-25 00:20:32 +08:00

@Madcrow 搜索了一下，梯度爆炸好像是深度神经网络才会出现的，我这个才一个隐层也会炸吗？= =，请问具体怎么解决呢？

cheroky

2017-05-25 00:23:36 +08:00

只试过 tensorflow 的，楼主提供代码哪里写了梯度下降,我并没有看懂，是 dw 那几行么。。。还有这种是不应该用 dummy variable ？？把属性拓展到列，是哪个属性就在哪一列标 1。还发现一个问题是楼主应该想训练出那个表上各个属性的权重吧？为啥输入层就俩 w,俩 b

0asis

2017-05-25 00:24:34 +08:00 via iPhone

python 的话，有 nan 值可能是因为你数据本来就有 nan，然后在做矩阵计算的时候传染得所有数都变成了 nan

hu6360567

2017-05-25 06:38:16 +08:00 via iPhone

昨天新学了个词过拟合？

miaoever

2017-05-25 06:58:28 +08:00 via iPhone

Nan 的话看看迭代的时候数据是不是有除零异常

clavichord93

2017-05-25 08:38:15 +08:00

梯度爆炸了。

yemenchun1

2017-05-25 08:45:29 +08:00 via iPhone

有没有随机初始化到一个小值啊，有没有矩阵求解时候低秩啊，信息太少不好诊断

aaronzjw

2017-05-25 09:13:15 +08:00

numpy 的 nan 会传播的，检查一下开始有没有 nan 吧

crackhopper

2017-05-25 10:32:44 +08:00

我看 BP 算法中，对偏置项 b 的更新 db 貌似不应该乘以矩阵吧。直接用 delta 就行了。

Morriaty

2017-05-25 10:46:52 +08:00

更新权重的时候，为什么要用`+=`？

还有，你那不是归一化，只能算 CategoricalEncode

Madcrow

2017-05-25 11:01:11 +08:00 via Android

@nixing123 我也是菜鸟，我看原 bolg 的代码对输入和输出都做了归一化，你的输出没有归一化导致求出的 loss 太大吧

ipwx

2017-05-25 11:19:55 +08:00

我建议你用正经的框架写，比如 TensorFlow，而不是 NumPy 手撸，不然浪费你我的时间。

原因是这样的，你作为初学者，写出来的代码，无论是命名方式还是结构性都太差了（和违反 Neural Network 业内的 Best Practice ），懂的人看你的代码就好像 C++ 的老手看初学者仿照谭浩强的教材写出来的代码那么痛苦。

https://www.tensorflow.org

IC0ZB

2017-05-25 11:49:04 +08:00

学习率太大了。

ruoyu0088

2017-05-25 21:14:11 +08:00

这种数据应该先用 statsmodels 或 sklearn 中的模型试试看。这里有 boston 房价的例子：

http://cs.smith.edu/dftwiki/index.php/Tutorial:_Playing_with_the_Boston_Housing_Data

ruoyu0088

2017-05-25 21:25:26 +08:00

对于分类数据你需要进行 one hot 编码，例如 http://blog.csdn.net/bitcarmanlee/article/details/51472816