协方差矩阵的性质?
协方差矩阵的性质?
协方差矩阵的性质?
在统计和概率论中,协方差矩阵是一个矩阵,它的每个元素是每个向量元素之间的协方差。协方差矩阵可以导出一个变换矩阵,可以完全去相关数据,这是从标量随机变量到高维随机向量的性质。
假设x是由n个标量随机变量组成的列向量,μ是其第k个元素的期望值,即协方差矩阵则定义为:
矩阵中的第(I,j)个元素是xi和xj的协方差。这个概念是标量随机变量方差的推广。
向量的协方差?
协方差矩阵
每个元素都是向量元素之间的协方差。
在统计和概率论中,协方差矩阵是一个矩阵,它的每个元素是每个向量元素之间的协方差。协方差矩阵可以导出一个变换矩阵,它可以完全去相关数据。它是从标量随机变量到高维随机向量的自然延伸。
基本信息
中文名
协方差矩阵
外国名字
协方差矩阵
特质
是对称非负定矩阵
模型
假设x是由n个标量随机变量组成的列向量,μ是其第k个元素的期望值,即协方差矩阵则定义为:
矩阵中的第(I,j)个元素是xi和xj的协方差。这个概念是标量随机变量方差的推广。
解释
协方差矩阵虽然简单,但在很多领域都是非常有力的工具。它可以导出一个变换矩阵,该矩阵可以完全去相关数据。从不同的角度,也就是说,我们可以找到一组最优的基,以一种紧凑的。完整证明请参考瑞利商。这种方法在统计学中被称为主成分分析,在图像处理中被称为Karhunen-love变换(KL- transform)。
统计学的基本概念
统计学中最基本的概念是样本的均值、方差和标准差。首先,给定包含n个样本的集合,以下公式描述了这些概念:
平均值:
标准偏差:
差异:
平均值描述了样本集的中间点,它提供了有限的信息,而标准差描述了样本集的每个样本点到平均值的平均距离。
以这两套为例,两套的平均值都是10,但显然两套相差很大。计算两组的标准差,前者为8.3,后者为1.8。显然,后者更集中,所以它的标准差更小,标准差描述了这种 "分散和。我们除以n-1的原因是它不是n,因为它可以用较小的样本集更好地逼近总体的标准差,这在统计学上称为 "无偏估计 "。方差只是标准差的平方。
为什么需要协方差?
标准差和方差一般用于描述一维数据,但在现实生活中,我们经常会遇到包含多维数据的数据集。最简单的就是,上学的时候,不可避免的要统计多个科目的考试成绩。
面对这样一个数据集,我们当然可以按照每个维度独立计算它的方差,但是我们通常想知道更多,比如一个女生和的猥琐程度和她受男生欢迎的程度。协方差就是用来衡量两个随机变量之间关系的统计量。它可以根据方差的定义进行建模,以测量每个维度与其平均值的偏差程度。协方差可以定义如下:
协方差结果的意义是什么?如果结果是肯定的,这意味着它们是正相关的(定义 "相关系数 "可以从协方差中推导出来),意思是越猥琐的人越受男生欢迎。如果结果是否定的,说明两者负相关,女生越猥琐,男生越讨厌。如果是0,两者没有关系,猥琐和男生喜不喜欢也没有相关性,统计学上叫 "相互独立 "。
从协方差的定义中也可以看出一些明显的性质。