一、为什么需要异常检测？

在数据分析的实际场景中，约5%-15%的数据可能存在异常值。这些"离群点"可能由传感器故障、人为录入错误或特殊事件导致，若不处理会影响模型训练和统计结论。例如：
- 电商订单中出现金额为99999的测试数据
- 体温数据集中混入摄氏/华氏混合记录
- 工业设备传感器突发异常波动

二、Z-score算法原理与实现

2.1 数学基础

Z-score（标准分数）通过计算数据点与均值的标准差距离来量化异常程度：

[ Z = \frac{X - \mu}{\sigma} ]

其中μ为均值，σ为标准差。通常当|Z|>3时，判定为异常值（99.7%的正态分布数据落在μ±3σ内）。

2.2 Python实现

python
import numpy as np
from scipy import stats

def detectoutlierszscore(data, threshold=3):
zscores = np.abs(stats.zscore(data)) return np.where(zscores > threshold)

示例数据

data = np.append(np.random.normal(50, 5, 100), [150, -20])
outliers = detectoutlierszscore(data)
print(f"异常值索引：{outliers}")

2.3 优缺点分析

• 优点：计算高效，适用于近似正态分布数据
• 缺点：对极端值敏感（均值/方差易受异常值影响）

三、IQR方法详解

3.1 箱线图原理

四分位距（IQR）是统计学中的稳健方法，基于数据的分位数进行检测：

1. 计算第一四分位数（Q1）和第三四分位数（Q3）
2. IQR = Q3 - Q1
3. 异常值边界：[Q1 - 1.5×IQR, Q3 + 1.5×IQR]

3.2 代码实现

python
def detectoutliersiqr(data):
q1, q3 = np.percentile(data, [25, 75])
iqr = q3 - q1
lowerbound = q1 - 1.5 * iqr upperbound = q3 + 1.5 * iqr
return np.where((data < lowerbound) | (data > upperbound))

使用相同测试数据

outliers = detectoutliersiqr(data)
print(f"IQR检测异常值：{data[outliers]}")

3.3 方法对比

| 指标 | Z-score | IQR |
|------------|---------------|--------------|
| 数据分布要求 | 近似正态 | 任意分布 |
| 抗极端值能力 | 弱 | 强 |
| 计算复杂度 | O(n) | O(n log n) |

四、实战案例：电商价格异常检测

假设我们有一组商品价格数据：

python
import pandas as pd
import matplotlib.pyplot as plt

prices = pd.Series([45, 50, 55, 60, 65, 70, 75, 80, 1500])

双方法验证

zoutliers = detectoutlierszscore(prices) iqroutliers = detectoutliersiqr(prices)

可视化

plt.figure(figsize=(10,4))
plt.subplot(121)
plt.boxplot(prices, vert=False)
plt.title("IQR Method")

plt.subplot(122)
plt.hist(prices, bins=30)
plt.axvline(prices.mean()+3prices.std(), color='r') plt.axvline(prices.mean()-3prices.std(), color='r')
plt.title("Z-score Method")
plt.show()

处理建议：
1. 对Z-score和IQR共同识别的异常值优先处理
2. 对于方法结果不一致的数据，需结合业务逻辑判断
3. 考虑使用对数变换处理右偏分布数据

五、进阶技巧

1. 滑动窗口检测：处理时间序列数据时，使用滚动窗口计算局部Z-score
   python rolling_mean = prices.rolling(window=10).mean() rolling_std = prices.rolling(window=10).std()

2. 组合策略：将两种方法与DBSCAN等聚类算法结合

3. 自动化处理框架：python
   class OutlierDetector:
   def init(self, methods=['zscore','iqr']):
   self.methods = methods

   def detect(self, data):
   results = {}
   if 'zscore' in self.methods:
   results['zscore'] = detectoutlierszscore(data)
   if 'iqr' in self.methods:
   results['iqr'] = detectoutliersiqr(data)
   return results

六、总结

1. 小规模正态分布数据优先使用Z-score
2. 存在极端值或偏态分布时选择IQR方法
3. 工业级应用建议结合业务规则进行二次验证
4. 处理后的异常值应记录日志供后续分析

"数据清洗没有银弹，理解业务背景比算法选择更重要" —— 某电商风控团队经验