异想天开

What's the true meaning of light, Could you tell me why

统计基础: 卡方检验,互信息,person相关系数

日期:2016-08-20 17:45:29
  
最后更新日期:2016-08-20 19:29:30
统计之前没怎么关注,既然是弱点,那么静下来补一下。

一.
卡方检验:
主要用来检验两个事件是否独立,即P(AB) 是否等于 P(A)P(B)。

注:图片来自于互联网
如果用卡方检验,那么分布计算A,B是否出现为: 00 01 10 11,分布计算方差和均值。

互信息:
香农在量化事件信息量的过程中引出信息熵。量化信息量大小满足以下几个性质的函数:
1. 是事件概率的函数。反映了信息量大小与不确定性有关。
2. 单调性。出现概率小的事件,信息量大。 因为出现事件100%发生,不蕴含什么信息。必然发生事件,我们对其认识还是不确定的,可以认为不确定性会增加。
3. 如果两个事件同时发生,两个事件独立,那么信息量可加。
香农证明了,满足上面三个性质的函数是唯一的。即信息熵。

而互信息,通过http://www.fuzihao.org/blog/2015/01/17/%E4%BA%92%E4%BF%A1%E6%81%AF%E7%9A%84%E7%90%86%E8%A7%A3/ 推导, X与Y的互信息,等价为X的信息熵减去在给定Y的条件下X的信息熵。 可以认为原本X的信息熵由H(X),变成了I(X,Y)。

person相关系数
主要用于计算线性相关

二.计算相关性时
统计相关性是那种,随着x的变化,y也会随着一定变化。
函数相关,给定x,则知道y

http://www.cnblogs.com/hhh5460/p/5186226.html