用Pandas实现多列数据T检验的完整指南

在数据分析工作中，T检验是验证两组数据均值差异显著性的基础工具。当面对包含多列的数据集时，如何高效地批量执行T检验成为常见需求。本文将深入探讨利用Pandas库实现这一目标的完整方案。

一、理解T检验的核心逻辑

T检验本质上是通过计算"t统计量"来判断两组数据的均值差异是否具有统计学意义。其基本假设包括：
- 数据服从正态分布（大样本时可放宽）
- 方差齐性（可通过Levene检验验证）
- 观测值相互独立

常见的三种应用场景：
1. 单样本T检验（与已知总体均值比较）
2. 独立双样本T检验（最常见）
3. 配对样本T检验（前后测设计）

二、Pandas数据准备实战

假设我们有一份消费者调研数据，包含不同产品评分的多列数据：

python
import pandas as pd
import numpy as np
from scipy import stats

生成模拟数据

np.random.seed(42)
data = {
'用户ID': range(1, 101),
'年龄组': np.random.choice(['18-25', '26-35', '36-45'], 100),
'产品A评分': np.random.normal(4.2, 0.8, 100),
'产品B评分': np.random.normal(3.9, 1.1, 100),
'产品C评分': np.random.normal(4.5, 0.7, 100)
}
df = pd.DataFrame(data)

三、单变量T检验实现

3.1 单样本T检验示例

检验产品A平均评分是否显著高于4分：

python t_stat, p_val = stats.ttest_1samp(df['产品A评分'], popmean=4) print(f"t统计量: {t_stat:.3f}, p值: {p_val:.4f}")

3.2 独立样本T检验

比较不同年龄组对产品A的评分差异：

python
group1 = df[df['年龄组'] == '18-25']['产品A评分']
group2 = df[df['年龄组'] == '26-35']['产品A评分']

先检查方差齐性

levenestat, levenep = stats.levene(group1, group2)
equalvar = True if levenep > 0.05 else False

tresult = stats.ttestind(group1, group2, equalvar=equalvar)

四、多列批量T检验高级技巧

4.1 循环实现多列比较

当需要比较多个产品评分时：

python
products = ['产品A评分', '产品B评分', '产品C评分']
results = []

for i in range(len(products)):
for j in range(i+1, len(products)):
tstat, pval = stats.ttestrel(df[products[i]], df[products[j]]) results.append({ '比较组': f"{products[i]} vs {products[j]}", 't值': tstat,
'p值': p_val
})

results_df = pd.DataFrame(results)

4.2 使用apply优化计算

更优雅的向量化实现：

python
from itertools import combinations

def pairwisettest(cols, df): return pd.DataFrame([ { '组1': col1, '组2': col2, 't值': stats.ttestrel(df[col1], df[col2])[0],
'p值': stats.ttest_rel(df[col1], df[col2])[1]
}
for col1, col2 in combinations(cols, 2)
])

pairwiseresults = pairwisettest(products, df)

五、结果可视化与解读

5.1 结果表格示例

| 比较组 | t值 | p值 | 显著性 |
|----------------|--------|----------|-------|
| 产品A vs 产品B | 2.347 | 0.0208 | * |
| 产品A vs 产品C | -3.215 | 0.0017 | ** |
| 产品B vs 产品C | -5.892 | <0.0001 | *** |

5.2 可视化方法

python
import matplotlib.pyplot as plt
import seaborn as sns

plt.figure(figsize=(10, 6))
sns.boxplot(data=df.melt(value_vars=products),
x='variable', y='value')
plt.title('多产品评分分布比较')
plt.ylabel('评分')
plt.xlabel('产品类型')

六、注意事项与常见问题

1. 正态性检验：当样本量<30时建议先进行Shapiro-Wilk检验
   python stats.shapiro(df['产品A评分'])

2. 多重比较校正：当进行多次检验时需调整p值阈值
   python from statsmodels.stats.multitest import multipletests multipletests(results_df['p值'], method='bonferroni')

3. 效应量计算：除了p值还应报告Cohen's d等效应量
   python def cohens_d(x, y): return (x.mean() - y.mean()) / np.sqrt((x.std()**2 + y.std()**2)/2)