这是一个创建于 1553 天前的主题，其中的信息可能已经有所发展或是发生改变。
据 apache commons-math SummaryStatistics 描述：
Computes summary statistics for a stream of data values added using the addValue method. The data values are not stored in memory, so this class can be used to compute statistics for very large data streams.
这个类有提供计算方差 getVariance() 方法的，那么问题来了，如果不保存每一个变量(data value)，又如何能算出方差？
根据方差计算公式，计算过程中需要计算每一个变量与均值的差值的，如果不断地 addValue()，那么均值也会不断变动，差值也随之变动，因此需要保存所有变量直到最后均值固定下来后一次性算出。
所以我不明白 apache 是怎么做到的？
 |
1
iuyoy 2020-08-21 17:32:55 +08:00  1
|
 |
2
MinQ 2020-08-21 17:34:10 +08:00 1
方差的递推公式
|
 |
3
raymanr 2020-08-21 17:34:57 +08:00
猜测是使用流只读取部分数据, 遍历两次, 先求得均值再求方差? 虽然感觉这种遍历两次的算法很不优雅... 但是好像确实算是个解决方案?
|
|
4
MinQ 2020-08-21 17:35:25 +08:00
|
 |
6
BiteTheDust 2020-08-21 17:38:06 +08:00
https://github.com/BiteTheDDDDt/Sometime/blob/master/Simplest%20ver/%E8%AF%B4%E6%98%8E.md
里面讲到只用序列的一次方和与二次方和求解标准差 不需要知道每一项具体是多少 算是比较常规的优化操作了 |
 |
7
yanqiyu 2020-08-21 20:06:50 +08:00 via Android
不保存任何数？肯定要有状态啊
<x^2>-<x>^2 是一般计算方差的公式，你需要三个状态，x^2 的求和，x 的求和以及数据个数 |
|
8
yanqiyu 2020-08-21 20:08:20 +08:00 via Android
没看英语部分，那上面的步骤就满足你的正文描述了，数学证明很简单，把<(x-<x>)^2>展开就行
|
 |
9
xcstream 2020-08-21 20:38:20 +08:00
当前方差 平均数 新的数 可以计算下一轮
|
Select Language