相关系数是统计学、数据分析、机器学习和人工智能中非常常见的一个术语。它用来描述两个变量之间关系的方向与强弱。换句话说相关系数是在回答一个变量变化时另一个变量是否也会跟着变化以及这种变化有多明显。如果说原始数据回答的是“每个变量分别取什么值”那么相关系数回答的就是“这两个变量之间有没有关联、关联得有多强”。因此相关系数常用于数据探索、特征分析、变量筛选和建模前的关系判断在人工智能与数据分析中具有重要地位。一、基本概念什么是相关系数相关系数Correlation Coefficient是用来衡量两个变量之间相关程度的统计量。最常见的是皮尔逊相关系数Pearson Correlation Coefficient它主要衡量两个变量之间的线性关系。若有两个变量 X 和 Y它们的皮尔逊相关系数通常记作 r其公式可写为其中•表示与的协方差Covariance•表示变量的标准差Standard Deviation•表示变量的标准差•表示与的相关系数若写成基于样本数据的常见形式也可以写为其中•表示变量 X 的第 i 个观测值•表示变量 Y 的第 i 个观测值• x̄ 表示 X 的样本均值• ȳ 表示 Y 的样本均值• n 表示样本个数这个公式的含义可以分成三步理解1先看 X 的每个取值偏离自己平均水平多少2再看 Y 的每个取值偏离自己平均水平多少3最后观察它们是否经常“同向偏离”或“反向偏离”并进行标准化处理。从通俗角度看相关系数可以理解为两个变量是不是经常一起涨、一起跌或者一个涨时另一个跌。例如若一个学生数学分数高时物理分数往往也高那么数学和物理可能具有正相关若温度升高时取暖费用往往下降那么温度和取暖费用可能具有负相关若两个变量变化之间看不出明显同步关系那么它们的相关性可能较弱。相关系数的取值通常在 -1 到 1 之间• r 接近 1表示较强正相关• r 接近 -1表示较强负相关• r 接近 0表示线性相关性较弱这三个区间可以通俗理解为1正相关若相关系数大于 0说明一个变量增大时另一个变量也倾向于增大。而且越接近 1这种同向变化越明显。例如学习时间与考试成绩常常可能呈正相关身高与体重在很多样本中也可能呈正相关。2负相关若相关系数小于 0说明一个变量增大时另一个变量倾向于减小。而且越接近 -1这种反向变化越明显。例如车速与到达所需时间通常可能呈负相关温度与取暖需求也常可能呈负相关。3相关性弱或接近无相关若相关系数接近 0通常说明两个变量之间没有明显的线性关系。但这并不一定表示它们完全没有任何关系只能说明它们的线性相关性不强。从通俗角度看相关系数可以理解为一个数用来概括两个变量“是不是一块儿变以及变得有多整齐”。二、相关系数的重要性与常见应用场景1、相关系数的重要性相关系数之所以重要是因为在数据分析中我们常常不仅关心“每个变量本身是什么”还关心“变量与变量之间是什么关系”。首先相关系数可以帮助我们快速发现变量之间的联系。如果两个变量高度相关那么它们之间很可能存在某种统计关联这有助于我们进一步分析数据结构。其次相关系数是探索性数据分析Exploratory Data AnalysisEDA的常用工具。在建模之前人们常通过相关系数先初步了解变量关系从而判断哪些特征可能更有价值哪些特征可能彼此冗余。再次相关系数有助于发现特征共线性问题。在某些模型中如果多个自变量之间高度相关就可能带来多重共线性Multicollinearity问题影响模型解释性或稳定性。相关系数常常是发现这类问题的第一步。可以概括地说原始数据说明“变量分别是什么”相关系数说明“变量之间关系如何”。2、常见应用场景1在数据探索中相关系数常用于初步判断变量关系在分析一个新数据集时人们往往会先计算若干变量之间的相关系数以快速了解哪些变量可能彼此联系较强哪些变量联系较弱。2在特征工程中相关系数常用于筛选特征如果某个特征与目标变量高度相关那么它可能对预测更有帮助如果两个输入特征彼此高度相关那么它们可能在信息上存在重复。3在线性回归中相关系数常用于辅助理解变量关系虽然相关系数本身不能代替完整建模但它可以帮助分析者初步判断某些变量与目标变量是否存在明显线性联系。4在相关性矩阵中相关系数是基本单元相关性矩阵Correlation Matrix本质上就是把多个变量之间的两两相关系数排成矩阵。因此理解相关性矩阵之前首先要理解相关系数。5在可视化分析中相关系数常与散点图结合使用散点图可以直观看两个变量的关系形态而相关系数则可以把这种关系压缩成一个数。二者结合使用往往更容易理解数据。可以概括地说散点图提供直观图像相关系数提供概括性的数值描述。三、相关系数中“相关”的含义相关系数虽然常用但“相关”这个词很容易被误解因此有必要单独说明。1、相关不等于因果这是最重要的一点。如果两个变量相关系数很高只能说明它们在数据上存在统计关联并不 automatically 表示其中一个导致了另一个。例如• 夏天时冰淇淋销量上升• 夏天时游泳人数也上升这两个变量可能正相关但这并不意味着“买冰淇淋导致去游泳”。更合理的解释可能是天气变热同时影响了它们。因此相关系数可以帮助发现关系但不能单独证明因果关系。2、相关系数通常默认关注线性关系最常见的皮尔逊相关系数主要衡量的是线性相关。这意味着如果两个变量之间存在明显的非线性关系相关系数也可能接近 0。例如一个变量随另一个变量呈弯曲关系变化那么它们可能有关系但皮尔逊相关系数不一定高。因此相关系数低不一定等于“完全没关系”更准确地说是“线性关系不明显”。3、正相关和负相关都可能有意义有些初学者会误以为“负相关”就是“不好”或“没关系”。其实不是。负相关仍然是一种明确关系只是方向相反。例如• 温度升高取暖支出下降• 速度升高到达时间缩短这些都可能体现负相关而且这种关系在分析中同样很重要。四、与相关系数相关的几个常见概念1、相关系数与协方差协方差Covariance也用来描述两个变量是否一起变化但它的数值会受到变量单位和尺度影响。相关系数可以看作是对协方差做了标准化处理因此更便于比较。简单说协方差说明“是否同向变化”相关系数说明“关系方向和强弱并且做了尺度统一”。2、相关系数与相关性矩阵一个相关系数只对应两个变量。如果有很多变量人们通常把所有两两相关系数排成表格这就形成了相关性矩阵。因此可以说相关系数是基本单元相关性矩阵是整体整理形式。3、皮尔逊相关、斯皮尔曼相关和肯德尔相关虽然最常见的是皮尔逊相关系数但实际中还有其他常见形式。• 皮尔逊相关系数Pearson主要衡量线性关系• 斯皮尔曼相关系数Spearman基于排序关系更适合单调关系分析• 肯德尔相关系数Kendall也用于排序一致性分析初学阶段先掌握皮尔逊相关系数即可但要知道“相关系数”并不只有一种。五、使用相关系数时需要注意的问题1、相关系数受异常值影响特别是皮尔逊相关系数对异常值比较敏感。少量极端值有时就可能明显改变相关系数的大小和方向。因此在解释结果时最好结合散点图一起观察。2、相关系数不能脱离样本量解释同样一个相关系数在样本量很小时可能不稳定在样本量较大时则更有参考价值。因此不能只看相关系数数值本身还要考虑数据量。3、相关系数高不一定适合直接建模即使两个变量高度相关也不代表它们之间的关系就适合简单建模。例如可能存在隐藏变量、非线性关系或分组效应等更复杂情况。4、相关系数低不等于变量无用某个变量与目标变量的线性相关性不高不代表它对模型一定没有价值。有时它可能以非线性方式发挥作用或与其他变量组合后才体现价值。5、相关系数只是关系概括不是完整解释相关系数能把关系压缩成一个数这很方便但也正因为如此它会丢失很多细节。因此实际分析时最好配合散点图、分布图和具体业务背景一起看。六、Python 示例下面给出两个简单示例用来说明相关系数的基本计算过程以及它如何帮助我们理解两个变量之间的关系。示例 1使用 pandas 计算两个变量的相关系数import pandas as pd # 构造两组数据math_score [80, 85, 78, 90, 88]physics_score [82, 87, 76, 91, 89] # 构造成 DataFramedf pd.DataFrame({ 数学: math_score, 物理: physics_score}) # 计算相关系数corr_value df[数学].corr(df[物理]) print(数学成绩, math_score)print(物理成绩, physics_score)print(相关系数, corr_value)这个例子展示了最基本的用法计算两个变量之间的皮尔逊相关系数。若结果接近 1通常说明这两组数据具有较强的正相关关系。示例 2比较正相关与负相关import pandas as pd # 一组正相关数据x1 [1, 2, 3, 4, 5]y1 [2, 4, 6, 8, 10] # 一组负相关数据x2 [1, 2, 3, 4, 5]y2 [10, 8, 6, 4, 2] # 计算相关系数corr_positive pd.Series(x1).corr(pd.Series(y1))corr_negative pd.Series(x2).corr(pd.Series(y2)) print(正相关示例的相关系数, corr_positive)print(负相关示例的相关系数, corr_negative)这个例子展示了两个最典型的方向• 当两个变量一起增大时相关系数接近 1• 当一个变量增大、另一个减小时相关系数接近 -1这有助于直观理解“正相关”和“负相关”的区别。 小结相关系数是一种用来描述两个变量之间关系方向与强弱的统计量。它能够帮助我们判断变量是否同向变化、反向变化以及这种关系有多明显。在数据探索、特征分析、相关性矩阵和建模前分析中相关系数都非常常见。对初学者而言可以把它理解为原始数据说明“变量分别取什么值”而相关系数说明“这两个变量之间是不是一块儿变以及变得有多明显”。“点赞有美意赞赏是鼓励”
