1. 項(xiàng)目概述從“相關(guān)”到“因果”的橋梁做數(shù)據(jù)分析、搞量化研究甚至是寫論文你是不是經(jīng)常聽(tīng)到“這兩個(gè)變量有關(guān)系”的說(shuō)法但“有關(guān)系”三個(gè)字太模糊了是強(qiáng)是弱是正還是負(fù)這種關(guān)系可靠嗎這時(shí)候相關(guān)系數(shù)就是你手中那把最趁手的“尺子”它能把你直覺(jué)上的“感覺(jué)有關(guān)系”變成一個(gè)精確的、可比較的數(shù)字。我做了十多年數(shù)據(jù)相關(guān)的工作從金融風(fēng)控到用戶行為分析可以說(shuō)相關(guān)系數(shù)是入門數(shù)據(jù)分析必須跨過(guò)的第一道坎也是后續(xù)所有復(fù)雜模型比如回歸分析的基石。很多人學(xué)相關(guān)系數(shù)容易陷入兩個(gè)極端要么一頭扎進(jìn)公式推導(dǎo)里出不來(lái)覺(jué)得枯燥又難懂要么只記幾個(gè)函數(shù)名跑出結(jié)果卻不知道怎么解讀甚至用錯(cuò)場(chǎng)合。這篇筆記我就想用最“人話”的方式幫你把理論和實(shí)操?gòu)氐状蛲?。我們不光要搞清楚皮爾遜、斯皮爾曼這些系數(shù)到底在算什么更要弄明白什么時(shí)候該用誰(shuí)跑出來(lái)的結(jié)果怎么看以及那些新手最容易踩的“坑”在哪里。目標(biāo)很簡(jiǎn)單讓你看完就能用用了不出錯(cuò)真正理解數(shù)據(jù)背后“關(guān)系”的度量邏輯。2. 相關(guān)系數(shù)核心理論不止是“一個(gè)數(shù)字”在動(dòng)手寫代碼之前我們必須把地基打牢。相關(guān)系數(shù)不是一個(gè)單一的概念而是一個(gè)“家族”針對(duì)不同類型的數(shù)據(jù)和關(guān)系模式我們有不同的工具。用錯(cuò)了工具就像用螺絲刀去敲釘子費(fèi)力不討好結(jié)論還可能全錯(cuò)。2.1 皮爾遜相關(guān)系數(shù)線性關(guān)系的“黃金標(biāo)準(zhǔn)”當(dāng)我們談?wù)摗跋嚓P(guān)系數(shù)”而沒(méi)加任何定語(yǔ)時(shí)通常指的就是皮爾遜積矩相關(guān)系數(shù)。它的核心任務(wù)是衡量?jī)蓚€(gè)連續(xù)型數(shù)值變量之間線性關(guān)系的強(qiáng)度和方向。它的計(jì)算思想非常直觀想象我們把兩個(gè)變量分別標(biāo)準(zhǔn)化減去均值除以標(biāo)準(zhǔn)差變成均值為0、標(biāo)準(zhǔn)差為1的“標(biāo)準(zhǔn)分”。然后計(jì)算每一對(duì)標(biāo)準(zhǔn)分的乘積再求平均。這個(gè)平均值就是皮爾遜相關(guān)系數(shù)r。如果r 1意味著所有點(diǎn)都完美地落在一條斜向上的直線上一個(gè)變量增加另一個(gè)變量也嚴(yán)格按比例增加。如果r -1則是完美斜向下的直線一個(gè)增加另一個(gè)嚴(yán)格按比例減少。如果r 0則說(shuō)明不存在線性關(guān)系但注意可能存在其他復(fù)雜關(guān)系如曲線關(guān)系。公式背后的邏輯r Cov(X, Y) / (σ_X * σ_Y)。分子是協(xié)方差衡量?jī)蓚€(gè)變量如何共同變化分母是兩個(gè)標(biāo)準(zhǔn)差的乘積目的是消除量綱影響將系數(shù)規(guī)范到 [-1, 1] 區(qū)間內(nèi)便于比較。注意皮爾遜相關(guān)系數(shù)有嚴(yán)格的適用前提1變量是連續(xù)或近似連續(xù)的2關(guān)系是線性的3數(shù)據(jù)最好接近正態(tài)分布4沒(méi)有明顯的異常值。違反這些前提r值可能會(huì)產(chǎn)生嚴(yán)重誤導(dǎo)。2.2 斯皮爾曼等級(jí)相關(guān)系數(shù)單調(diào)關(guān)系的“抗干擾能手”現(xiàn)實(shí)數(shù)據(jù)往往沒(méi)那么“規(guī)矩”。數(shù)據(jù)可能不是正態(tài)分布或者存在一些異常值又或者我們關(guān)心的僅僅是“當(dāng)一個(gè)變量變大時(shí)另一個(gè)變量是否也傾向于變大或變小”這種更廣義的單調(diào)關(guān)系而不一定是嚴(yán)格的直線關(guān)系。這時(shí)斯皮爾曼相關(guān)系數(shù)就派上用場(chǎng)了。它的聰明之處在于“降維打擊”它不直接使用變量的原始值而是將每個(gè)變量的數(shù)據(jù)分別從小到大排序賦予其秩次即排名第1名、第2名...。然后計(jì)算這兩個(gè)“排名”序列的皮爾遜相關(guān)系數(shù)。因?yàn)榕琶麛?shù)據(jù)對(duì)異常值不敏感一個(gè)極大的異常值也只是排名第一而已并且不要求數(shù)據(jù)滿足正態(tài)分布所以斯皮爾曼系數(shù)的穩(wěn)健性更強(qiáng)。適用場(chǎng)景數(shù)據(jù)是順序尺度的例如滿意度調(diào)查的“非常不滿意、不滿意、一般、滿意、非常滿意”。數(shù)據(jù)分布未知或明顯非正態(tài)。懷疑存在單調(diào)但非線性的關(guān)系例如指數(shù)增長(zhǎng)趨勢(shì)。數(shù)據(jù)中存在異常值。2.3 肯德?tīng)柕燃?jí)相關(guān)系數(shù)一致性的“精細(xì)評(píng)判員”肯德?tīng)栂禂?shù)同樣用于衡量?jī)蓚€(gè)等級(jí)變量之間的相關(guān)性但它的計(jì)算邏輯與斯皮爾曼不同。它考察的是所有可能的數(shù)據(jù)對(duì)中一致對(duì)和不一致對(duì)的比例。什么是“一致對(duì)”取兩對(duì)觀測(cè)值(x_i, y_i)和(x_j, y_j)如果(x_i - x_j)和(y_i - y_j)同號(hào)即x變大時(shí)y也變大或x變小時(shí)y也變小它們就是一致對(duì)。反之則為不一致對(duì)?？系?tīng)栂禂?shù)τ就是一致對(duì)數(shù)目 - 不一致對(duì)數(shù)目除以總的對(duì)數(shù)。它的解釋更側(cè)重于概率如果τ 0.8可以理解為隨機(jī)抽取兩個(gè)樣本它們排名一致的可能性比不一致的可能性高80%。與斯皮爾曼的細(xì)微差別當(dāng)數(shù)據(jù)量較小時(shí)肯德?tīng)栂禂?shù)通常更精確。此外它對(duì)“打結(jié)”數(shù)據(jù)即存在相同排名的情況有更成熟的處理方式。在樣本量巨大時(shí)兩者結(jié)論通常一致。2.4 其他相關(guān)系數(shù)速覽除了上述三大主力根據(jù)數(shù)據(jù)類型還有更多選擇點(diǎn)二列相關(guān)用于衡量一個(gè)真正二分類變量如男/女是/否和一個(gè)連續(xù)變量如考試成績(jī)之間的相關(guān)。Φ系數(shù)用于衡量?jī)蓚€(gè)真正二分類變量之間的相關(guān)如性別與是否通過(guò)考試。偏相關(guān)與半偏相關(guān)當(dāng)我們想研究?jī)蓚€(gè)變量之間的關(guān)系但又想控制住第三個(gè)或多個(gè)變量的影響時(shí)使用。例如研究學(xué)習(xí)時(shí)間和成績(jī)的關(guān)系需要控制“智商”這個(gè)變量帶來(lái)的影響此時(shí)就需要計(jì)算偏相關(guān)系數(shù)。3. 相關(guān)系數(shù)的實(shí)戰(zhàn)計(jì)算與解讀理論懂了我們就要上手算。這里我會(huì)用 Python 的pandas,numpy,scipy和seaborn庫(kù)來(lái)演示這也是實(shí)際工作中最高效的組合。3.1 數(shù)據(jù)準(zhǔn)備與探索性可視化在計(jì)算任何系數(shù)之前畫圖是必不可少的第一步?？梢暬軒湍阒庇^感受關(guān)系形態(tài)避免盲目計(jì)算。import pandas as pd import numpy as np import seaborn as sns import matplotlib.pyplot as plt from scipy import stats # 設(shè)置中文顯示和圖形樣式可選 plt.rcParams[font.sans-serif] [SimHei] plt.rcParams[axes.unicode_minus] False sns.set_style(whitegrid) # 示例創(chuàng)建一個(gè)包含多種關(guān)系的數(shù)據(jù)集 np.random.seed(42) n 100 data pd.DataFrame({ 線性正相關(guān): np.random.randn(n) * 2 np.arange(n) * 0.1, # 線性增長(zhǎng) 線性負(fù)相關(guān): -np.arange(n) * 0.1 np.random.randn(n) * 2, 曲線相關(guān): np.sin(np.linspace(0, 4*np.pi, n)) * 10 np.random.randn(n) * 2, # 正弦曲線 無(wú)相關(guān): np.random.randn(n) * 5, 異常值影響: np.concatenate([np.random.randn(n-1), [50]]) # 最后一個(gè)點(diǎn)是異常值 }) data[異常值影響_線性] data[異常值影響] * 0.5 np.random.randn(n) * 2 # 繪制散點(diǎn)圖矩陣 sns.pairplot(data[[線性正相關(guān), 線性負(fù)相關(guān), 曲線相關(guān), 無(wú)相關(guān)]]) plt.suptitle(不同關(guān)系模式的散點(diǎn)圖矩陣, y1.02) plt.show() # 單獨(dú)繪制帶有異常值的散點(diǎn)圖 plt.figure(figsize(6,4)) plt.scatter(data[異常值影響], data[異常值影響_線性], alpha0.7) plt.xlabel(異常值影響) plt.ylabel(異常值影響_線性) plt.title(包含極端異常值的散點(diǎn)圖) plt.show()通過(guò)散點(diǎn)圖你可以一眼看出“線性正相關(guān)”和“線性負(fù)相關(guān)”大致呈直線“曲線相關(guān)”呈波浪形“無(wú)相關(guān)”則是一團(tuán)亂麻而“異常值影響”圖中一個(gè)孤立的點(diǎn)會(huì)極大地扭曲我們對(duì)整體趨勢(shì)的判斷。3.2 皮爾遜相關(guān)系數(shù)的計(jì)算與假設(shè)檢驗(yàn)計(jì)算相關(guān)系數(shù)本身很簡(jiǎn)單但關(guān)鍵在于解讀和檢驗(yàn)。# 計(jì)算皮爾遜相關(guān)系數(shù)矩陣 pearson_corr data[[線性正相關(guān), 線性負(fù)相關(guān), 曲線相關(guān), 無(wú)相關(guān)]].corr(methodpearson) print(皮爾遜相關(guān)系數(shù)矩陣\n, pearson_corr) # 使用scipy進(jìn)行帶p值的相關(guān)系數(shù)計(jì)算 # 以‘線性正相關(guān)’和‘線性負(fù)相關(guān)’為例 r_value, p_value stats.pearsonr(data[線性正相關(guān)], data[線性負(fù)相關(guān)]) print(f\n‘線性正相關(guān)’與‘線性負(fù)相關(guān)’的皮爾遜相關(guān)分析) print(f 相關(guān)系數(shù) r {r_value:.4f}) print(f P值 {p_value:.4e}) # 對(duì)‘曲線相關(guān)’和‘無(wú)相關(guān)’也進(jìn)行計(jì)算 r_curve, p_curve stats.pearsonr(data[曲線相關(guān)], data[無(wú)相關(guān)]) print(f\n‘曲線相關(guān)’與‘無(wú)相關(guān)’的皮爾遜相關(guān)分析) print(f 相關(guān)系數(shù) r {r_curve:.4f}) print(f P值 {p_curve:.4e})解讀要點(diǎn)系數(shù)值r_value會(huì)接近 -1證實(shí)了強(qiáng)烈的線性負(fù)相關(guān)。r_curve會(huì)接近0因?yàn)檎仪€與隨機(jī)噪聲之間沒(méi)有線性關(guān)系。P值這是顯著性檢驗(yàn)的結(jié)果。原假設(shè)是“兩個(gè)變量總體相關(guān)系數(shù)為0即無(wú)關(guān)”。通常如果p_value 0.05或更嚴(yán)格的0.01我們就有足夠的統(tǒng)計(jì)學(xué)證據(jù)拒絕原假設(shè)認(rèn)為觀察到的相關(guān)關(guān)系不是偶然產(chǎn)生的。上面例子中第一組的p值會(huì)極小如 0.001第二組的p值會(huì)大于0.05。注意陷阱對(duì)于“曲線相關(guān)”變量自身如果我們計(jì)算它與一個(gè)線性遞增序列的相關(guān)系數(shù)r可能也會(huì)很小但這絕不意味著它們沒(méi)關(guān)系這就是為什么必須先看圖。3.3 斯皮爾曼與肯德?tīng)栂禂?shù)的計(jì)算當(dāng)數(shù)據(jù)不滿足皮爾遜的前提時(shí)我們轉(zhuǎn)向等級(jí)相關(guān)。# 計(jì)算斯皮爾曼和肯德?tīng)栂嚓P(guān)系數(shù) # 以‘曲線相關(guān)’和‘無(wú)相關(guān)’為例同時(shí)演示帶異常值的數(shù)據(jù) spearman_corr, spearman_p stats.spearmanr(data[曲線相關(guān)], data[無(wú)相關(guān)]) kendall_corr, kendall_p stats.kendalltau(data[曲線相關(guān)], data[無(wú)相關(guān)]) print(f斯皮爾曼相關(guān)系數(shù): {spearman_corr:.4f}, P值: {spearman_p:.4e}) print(f肯德?tīng)栂嚓P(guān)系數(shù): {kendall_corr:.4f}, P值: {kendall_p:.4e}) # 演示異常值的影響對(duì)比皮爾遜和斯皮爾曼 r_pearson_outlier, p_pearson stats.pearsonr(data[異常值影響], data[異常值影響_線性]) r_spearman_outlier, p_spearman stats.spearmanr(data[異常值影響], data[異常值影響_線性]) print(f\n【異常值場(chǎng)景對(duì)比】) print(f皮爾遜相關(guān)系數(shù): {r_pearson_outlier:.4f} (被異常值嚴(yán)重扭曲)) print(f斯皮爾曼相關(guān)系數(shù): {r_spearman_outlier:.4f} (相對(duì)穩(wěn)健))這個(gè)對(duì)比會(huì)清晰地展示一個(gè)極端異常值如何將皮爾遜系數(shù)拉向一個(gè)失真的方向可能變得很高或很低而斯皮爾曼系數(shù)由于其基于排名的特性受此影響要小得多。3.4 相關(guān)系數(shù)矩陣與熱力圖在實(shí)際項(xiàng)目中我們經(jīng)常需要一次性考察多個(gè)變量?jī)蓛芍g的關(guān)系。相關(guān)系數(shù)矩陣和熱力圖是最佳工具。# 計(jì)算所有數(shù)值列之間的混合相關(guān)系數(shù)矩陣以斯皮爾曼為例 corr_matrix data.corr(methodspearman) print(斯皮爾曼相關(guān)系數(shù)矩陣\n, corr_matrix) # 繪制熱力圖 plt.figure(figsize(10, 8)) # 使用mask隱藏上三角部分可選因?yàn)榫仃囀菍?duì)稱的 mask np.triu(np.ones_like(corr_matrix, dtypebool)) sns.heatmap(corr_matrix, maskmask, annotTrue, fmt.2f, cmapRdBu_r, center0, squareTrue, linewidths.5, cbar_kws{shrink: .8}) plt.title(變量間斯皮爾曼相關(guān)系數(shù)熱力圖) plt.tight_layout() plt.show()熱力圖中顏色越深紅色表示正相關(guān)越強(qiáng)顏色越淺藍(lán)色表示負(fù)相關(guān)越強(qiáng)。annotTrue將數(shù)值顯示在格子中fmt.2f控制顯示兩位小數(shù)。這張圖能讓你快速鎖定哪些變量間存在強(qiáng)相關(guān)關(guān)系為后續(xù)分析如特征選擇、共線性排查提供關(guān)鍵依據(jù)。4. 深入實(shí)操?gòu)挠?jì)算到洞察的完整案例現(xiàn)在我們用一個(gè)更貼近實(shí)際的案例串聯(lián)起從數(shù)據(jù)清洗、可視化、系數(shù)計(jì)算到結(jié)果解讀的全過(guò)程。假設(shè)我們有一份某電商平臺(tái)的用戶行為數(shù)據(jù)集user_behavior.csv包含以下字段用戶ID年齡年收入萬(wàn)每周瀏覽時(shí)長(zhǎng)小時(shí)平均訂單金額元月度購(gòu)買頻率滿意度評(píng)分1-5。4.1 案例背景與業(yè)務(wù)問(wèn)題業(yè)務(wù)方想知道用戶的“瀏覽時(shí)長(zhǎng)”和“購(gòu)買頻率”是否相關(guān)投入資源增加用戶瀏覽時(shí)間是否能促進(jìn)復(fù)購(gòu)“年收入”和“平均訂單金額”是什么關(guān)系高收入用戶是否傾向于單次購(gòu)買更貴的商品“滿意度評(píng)分”與其他行為指標(biāo)的關(guān)系如何滿意的用戶是否有特定的行為模式4.2 數(shù)據(jù)清洗與預(yù)處理# 1. 加載數(shù)據(jù) df pd.read_csv(user_behavior.csv) print(數(shù)據(jù)形狀:, df.shape) print(數(shù)據(jù)前5行:\n, df.head()) print(\n數(shù)據(jù)基本信息:) print(df.info()) print(\n描述性統(tǒng)計(jì):) print(df.describe()) # 2. 處理缺失值與異常值 # 檢查缺失 print(f缺失值統(tǒng)計(jì):\n{df.isnull().sum()}) # 簡(jiǎn)單處理對(duì)于數(shù)值列用中位數(shù)填充對(duì)于滿意度評(píng)分用眾數(shù)填充假設(shè)為整數(shù) if df.isnull().any().any(): for col in df.select_dtypes(include[np.number]).columns: if df[col].isnull().sum() 0: if col 滿意度評(píng)分1-5: fill_value df[col].mode()[0] # 眾數(shù) else: fill_value df[col].median() # 中位數(shù) df[col].fillna(fill_value, inplaceTrue) print(f列 {col} 的缺失值已用 {fill_value} 填充。) # 檢查異常值使用箱線圖或IQR法則 plt.figure(figsize(12, 6)) df_boxplot df[[年齡, 年收入萬(wàn), 每周瀏覽時(shí)長(zhǎng)小時(shí), 平均訂單金額元]] df_boxplot.boxplot() plt.xticks(rotation45) plt.title(數(shù)值變量箱線圖檢查異常值) plt.tight_layout() plt.show() # 基于業(yè)務(wù)邏輯處理異常值例如年齡100或10的視為異常瀏覽時(shí)長(zhǎng)每周168小時(shí)7*24不可能 df df[(df[年齡] 18) (df[年齡] 80)] df df[df[每周瀏覽時(shí)長(zhǎng)小時(shí)] 100] # 假設(shè)每周瀏覽超過(guò)100小時(shí)為異常 print(f清理異常值后數(shù)據(jù)形狀: {df.shape})4.3 多方法相關(guān)系數(shù)計(jì)算與對(duì)比分析針對(duì)不同的業(yè)務(wù)問(wèn)題選擇合適的相關(guān)系數(shù)。# 選擇需要分析的數(shù)值列 analysis_cols [年齡, 年收入萬(wàn), 每周瀏覽時(shí)長(zhǎng)小時(shí), 平均訂單金額元, 月度購(gòu)買頻率, 滿意度評(píng)分1-5] analysis_df df[analysis_cols] # 計(jì)算三種相關(guān)系數(shù)矩陣 pearson_matrix analysis_df.corr(methodpearson) spearman_matrix analysis_df.corr(methodspearman) # pandas 沒(méi)有內(nèi)置的kendall我們用scipy循環(huán)計(jì)算或使用.corr(kendall’)如果版本支持 # 這里為演示先計(jì)算斯皮爾曼熱力圖肯德?tīng)柨梢灶愃七M(jìn)行重點(diǎn)配對(duì)分析 fig, axes plt.subplots(1, 2, figsize(16, 6)) # 皮爾遜熱力圖 sns.heatmap(pearson_matrix, annotTrue, fmt.2f, cmapRdBu_r, center0, squareTrue, axaxes[0]) axes[0].set_title(皮爾遜相關(guān)系數(shù)矩陣) # 斯皮爾曼熱力圖 sns.heatmap(spearman_matrix, annotTrue, fmt.2f, cmapRdBu_r, center0, squareTrue, axaxes[1]) axes[1].set_title(斯皮爾曼相關(guān)系數(shù)矩陣) plt.tight_layout() plt.show() # 針對(duì)具體業(yè)務(wù)問(wèn)題進(jìn)行詳細(xì)的配對(duì)分析和檢驗(yàn) print(\n 業(yè)務(wù)問(wèn)題1: ‘瀏覽時(shí)長(zhǎng)’ vs ‘購(gòu)買頻率’ ) r_pearson_1, p_pearson_1 stats.pearsonr(df[每周瀏覽時(shí)長(zhǎng)小時(shí)], df[月度購(gòu)買頻率]) r_spearman_1, p_spearman_1 stats.spearmanr(df[每周瀏覽時(shí)長(zhǎng)小時(shí)], df[月度購(gòu)買頻率]) print(f皮爾遜: r {r_pearson_1:.3f}, p {p_pearson_1:.4f}) print(f斯皮爾曼: ρ {r_spearman_1:.3f}, p {p_spearman_1:.4f}) # 繪制散點(diǎn)圖與回歸線 sns.jointplot(datadf, x每周瀏覽時(shí)長(zhǎng)小時(shí), y月度購(gòu)買頻率, kindreg, height6) plt.suptitle(瀏覽時(shí)長(zhǎng)與購(gòu)買頻率關(guān)系含回歸線, y1.02) plt.show() print(\n 業(yè)務(wù)問(wèn)題2: ‘年收入’ vs ‘平均訂單金額’ ) # 先看分布 fig, (ax1, ax2) plt.subplots(1, 2, figsize(12,4)) sns.histplot(df[年收入萬(wàn)], kdeTrue, axax1) ax1.set_title(年收入分布) sns.histplot(df[平均訂單金額元], kdeTrue, axax2) ax2.set_title(平均訂單金額分布) plt.tight_layout() plt.show() # 計(jì)算相關(guān)系數(shù) r_pearson_2, p_pearson_2 stats.pearsonr(df[年收入萬(wàn)], df[平均訂單金額元]) r_spearman_2, p_spearman_2 stats.spearmanr(df[年收入萬(wàn)], df[平均訂單金額元]) print(f皮爾遜: r {r_pearson_2:.3f}, p {p_pearman_2:.4f}) print(f斯皮爾曼: ρ {r_spearman_2:.3f}, p {p_spearman_2:.4f}) print(\n 業(yè)務(wù)問(wèn)題3: ‘滿意度評(píng)分’與其他指標(biāo) ) # 滿意度是1-5的等級(jí)數(shù)據(jù)更適合用斯皮爾曼或肯德?tīng)?sat_corr_with {} for col in [每周瀏覽時(shí)長(zhǎng)小時(shí), 平均訂單金額元, 月度購(gòu)買頻率]: rho, p stats.spearmanr(df[滿意度評(píng)分1-5], df[col]) sat_corr_with[col] {相關(guān)系數(shù): rho, P值: p} print(f滿意度 vs {col}: ρ {rho:.3f}, p {p:.4f})4.4 結(jié)果解讀與業(yè)務(wù)報(bào)告撰寫要點(diǎn)根據(jù)上面的輸出我們可以形成如下分析結(jié)論瀏覽時(shí)長(zhǎng)與購(gòu)買頻率斯皮爾曼相關(guān)系數(shù)約為0.65(p0.001)顯示存在較強(qiáng)的正相關(guān)關(guān)系。業(yè)務(wù)啟示鼓勵(lì)用戶增加瀏覽時(shí)長(zhǎng)很可能對(duì)提升復(fù)購(gòu)率有積極影響。但需注意這是相關(guān)關(guān)系不一定是因果關(guān)系?？赡苄枰ㄟ^(guò)A/B測(cè)試進(jìn)一步驗(yàn)證。年收入與平均訂單金額皮爾遜和斯皮爾曼系數(shù)都顯示較弱的相關(guān)性例如0.15左右。業(yè)務(wù)啟示高收入用戶并不一定會(huì)在單次消費(fèi)中花更多錢。提升客單價(jià)可能需要從商品推薦、促銷策略等其他方面入手而非單純瞄準(zhǔn)高收入群體。滿意度評(píng)分可能與“平均訂單金額”有微弱的正相關(guān)與“購(gòu)買頻率”相關(guān)度可能更高。業(yè)務(wù)啟示提升用戶滿意度可能對(duì)促進(jìn)用戶多次購(gòu)買提高忠誠(chéng)度的效果比促進(jìn)單次消費(fèi)金額更明顯。實(shí)操心得在撰寫報(bào)告時(shí)不要只扔出一個(gè)相關(guān)系數(shù)。一定要伴隨三樣?xùn)|西可視化圖形散點(diǎn)圖、顯著性P值、業(yè)務(wù)層面的解讀。同時(shí)必須明確指出所使用的相關(guān)系數(shù)類型及其前提假設(shè)這體現(xiàn)了分析的專業(yè)性。5. 高級(jí)話題與常見(jiàn)陷阱規(guī)避掌握了基礎(chǔ)計(jì)算和解讀我們還需要了解一些高級(jí)用法和深坑才能讓分析更嚴(yán)謹(jǐn)。5.1 偏相關(guān)分析剝離混淆因素的影響很多時(shí)候兩個(gè)變量之間的相關(guān)可能是由第三個(gè)變量混淆變量共同作用造成的假象。例如我們發(fā)現(xiàn)“冰淇淋銷量”和“溺水人數(shù)”高度正相關(guān)。但這顯然不是因果關(guān)系而是因?yàn)樗鼈兌际堋凹竟?jié)溫度”影響。要探究“冰淇淋銷量”和“溺水人數(shù)”的真實(shí)關(guān)系就需要“控制”溫度的影響計(jì)算偏相關(guān)系數(shù)。# 使用 pingouin 庫(kù)進(jìn)行偏相關(guān)分析 (更便捷) # 假設(shè)我們想探究‘瀏覽時(shí)長(zhǎng)’和‘購(gòu)買頻率’的關(guān)系同時(shí)控制‘年齡’和‘年收入’的影響 # 首先安裝: pip install pingouin import pingouin as pg # 假設(shè) df 中包含 每周瀏覽時(shí)長(zhǎng)小時(shí), 月度購(gòu)買頻率, 年齡, 年收入萬(wàn) partial_corr pg.partial_corr(datadf, x每周瀏覽時(shí)長(zhǎng)小時(shí), y月度購(gòu)買頻率, covar[年齡, 年收入萬(wàn)], methodpearson) print(偏相關(guān)分析結(jié)果控制年齡和年收入) print(partial_corr)如果偏相關(guān)系數(shù)相比于原來(lái)的簡(jiǎn)單相關(guān)系數(shù)大幅減小甚至不再顯著那就說(shuō)明原先的相關(guān)很可能是由被控制的變量年齡、收入所驅(qū)動(dòng)的。5.2 相關(guān)系數(shù)的置信區(qū)間相關(guān)系數(shù)是一個(gè)點(diǎn)估計(jì)我們還應(yīng)報(bào)告其估計(jì)的不確定性即置信區(qū)間。# 計(jì)算皮爾遜相關(guān)系數(shù)的95%置信區(qū)間 def pearson_ci(x, y, alpha0.05): r, p stats.pearsonr(x, y) n len(x) # 使用Fisher z變換 z np.arctanh(r) se 1 / np.sqrt(n - 3) z_crit stats.norm.ppf(1 - alpha/2) lo_z, hi_z z - z_crit*se, z z_crit*se lo, hi np.tanh((lo_z, hi_z)) return r, (lo, hi) r, ci pearson_ci(df[每周瀏覽時(shí)長(zhǎng)小時(shí)], df[月度購(gòu)買頻率]) print(f瀏覽時(shí)長(zhǎng)與購(gòu)買頻率的皮爾遜相關(guān)系數(shù): {r:.3f}) print(f95% 置信區(qū)間: [{ci[0]:.3f}, {ci[1]:.3f}])報(bào)告置信區(qū)間例如0.58 [0.50, 0.65]比單純報(bào)告一個(gè)點(diǎn)估計(jì)值0.58包含更多信息它給出了系數(shù)可能波動(dòng)的范圍。5.3 新手最常踩的五大坑混淆相關(guān)與因果這是最經(jīng)典、最嚴(yán)重的錯(cuò)誤。A和B相關(guān)不代表A導(dǎo)致B?？赡蹷導(dǎo)致A或者C同時(shí)導(dǎo)致A和B。永遠(yuǎn)記住相關(guān)不等于因果。確立因果需要更嚴(yán)謹(jǐn)?shù)膶?shí)驗(yàn)設(shè)計(jì)如隨機(jī)對(duì)照試驗(yàn)。忽視線性假設(shè)皮爾遜系數(shù)只度量線性關(guān)系。對(duì)于像y x^2這樣的曲線關(guān)系皮爾遜r可能接近0但顯然兩者存在確定性的關(guān)系。一定要先畫散點(diǎn)圖。忽略異常值一個(gè)極端的異常值可以完全扭曲皮爾遜相關(guān)系數(shù)使其失去代表性。在計(jì)算前必須通過(guò)可視化如散點(diǎn)圖、箱線圖檢查數(shù)據(jù)并考慮使用斯皮爾曼等穩(wěn)健方法或?qū)Ξ惓Ｖ颠M(jìn)行合理處理?；谛颖镜贸鰪?qiáng)結(jié)論樣本量過(guò)小時(shí)即使計(jì)算出一個(gè)很大的r值如0.9也可能由于隨機(jī)性導(dǎo)致P值可能不顯著。務(wù)必報(bào)告P值或置信區(qū)間并結(jié)合樣本量謹(jǐn)慎解讀。誤用相關(guān)系數(shù)比較相關(guān)強(qiáng)度比較不同變量對(duì)之間的相關(guān)系數(shù)大小時(shí)要小心。例如r0.8不一定比r0.5的關(guān)系“強(qiáng)”一倍。相關(guān)系數(shù)不是等距尺度。更重要的是關(guān)系的穩(wěn)定性置信區(qū)間寬度和顯著性P值同樣重要。5.4 自動(dòng)化分析腳本模板將常用分析流程封裝成函數(shù)可以極大提高效率。def comprehensive_correlation_analysis(df, var1, var2, methodauto, plotTrue, alpha0.05): 綜合相關(guān)分析函數(shù) 參數(shù): df: DataFrame var1, var2: 要分析的兩個(gè)變量名 method: pearson, spearman, kendall, 或 auto自動(dòng)根據(jù)數(shù)據(jù)特性選擇 plot: 是否繪制圖形 alpha: 顯著性水平 返回: 包含詳細(xì)結(jié)果的字典 x df[var1].dropna() y df[var2].dropna() # 確保x和y長(zhǎng)度一致 common_index x.index.intersection(y.index) x, y x.loc[common_index], y.loc[common_index] # 自動(dòng)選擇方法 if method auto: # 簡(jiǎn)單啟發(fā)式如果數(shù)據(jù)是明確的等級(jí)或非正態(tài)用斯皮爾曼 if df[var1].nunique() 10 or df[var2].nunique() 10: # 類別較少 method spearman else: # 可以添加更正式的正態(tài)性檢驗(yàn)如Shapiro-Wilk method pearson results {變量對(duì): f{var1} vs {var2}, 方法: method} # 計(jì)算相關(guān)系數(shù)及P值 if method pearson: r, p stats.pearsonr(x, y) # 計(jì)算置信區(qū)間 z np.arctanh(r) se 1 / np.sqrt(len(x) - 3) z_crit stats.norm.ppf(1 - alpha/2) ci_low, ci_high np.tanh([z - z_crit*se, z z_crit*se]) elif method spearman: r, p stats.spearmanr(x, y) # 斯皮爾曼的CI計(jì)算較復(fù)雜此處省略或使用bootstrap ci_low, ci_high np.nan, np.nan elif method kendall: r, p stats.kendalltau(x, y) ci_low, ci_high np.nan, np.nan else: raise ValueError(method 必須是 pearson, spearman, kendall 或 auto) results[相關(guān)系數(shù)] r results[P值] p results[f{int((1-alpha)*100)}% 置信區(qū)間] (ci_low, ci_high) results[顯著性] 顯著 if p alpha else 不顯著 # 繪圖 if plot: fig, axes plt.subplots(1, 2, figsize(12, 4)) # 散點(diǎn)圖與回歸線 sns.regplot(xx, yy, axaxes[0], scatter_kws{alpha:0.5}) axes[0].set_xlabel(var1) axes[0].set_ylabel(var2) axes[0].set_title(f{var1} vs {var2} 散點(diǎn)圖與回歸線\n{method} r {r:.3f} (p{p:.4f})) # 殘差圖檢查線性假設(shè)僅對(duì)pearson有意義 if method pearson: from sklearn.linear_model import LinearRegression model LinearRegression().fit(x.values.reshape(-1,1), y) y_pred model.predict(x.values.reshape(-1,1)) residuals y - y_pred axes[1].scatter(y_pred, residuals, alpha0.5) axes[1].axhline(y0, colorr, linestyle--) axes[1].set_xlabel(預(yù)測(cè)值) axes[1].set_ylabel(殘差) axes[1].set_title(殘差圖檢查線性、同方差性) else: axes[1].text(0.5, 0.5, f使用 {method} 相關(guān)系數(shù)\n無(wú)需檢查線性假設(shè), hacenter, vacenter, transformaxes[1].transAxes) axes[1].set_title(等級(jí)相關(guān)無(wú)需線性假設(shè)) plt.tight_layout() plt.show() return results # 使用示例 result comprehensive_correlation_analysis(df, 每周瀏覽時(shí)長(zhǎng)小時(shí), 月度購(gòu)買頻率, methodauto) print(result)掌握相關(guān)系數(shù)遠(yuǎn)不止學(xué)會(huì)調(diào)用一個(gè)corr()函數(shù)。它關(guān)乎如何正確地提出業(yè)務(wù)問(wèn)題如何嚴(yán)謹(jǐn)?shù)剡x擇度量工具如何審慎地解讀數(shù)據(jù)給出的答案以及如何清晰地呈現(xiàn)分析結(jié)果。從看到“相關(guān)”二字就發(fā)怵到能游刃有余地運(yùn)用這把尺子去丈量變量間的關(guān)系這個(gè)過(guò)程本身就是數(shù)據(jù)分析思維的一次重要升級(jí)。多練多看多思考最重要的是永遠(yuǎn)對(duì)數(shù)據(jù)保持一份敬畏和懷疑。