在数据分析工作中，约70%的时间都消耗在数据准备阶段。掌握专业的文本文件处理方法，能显著提升数据科学家的工作效率。下面以销售数据文件为例，演示完整的处理流程。

一、文件读取的三大注意事项

1. 编码识别
   我们常遇到的中文文件编码包括UTF-8和GBK。使用chardet库可以自动检测编码：
   python import chardet with open('sales.txt', 'rb') as f: result = chardet.detect(f.read(10000)) print(f"检测到编码：{result['encoding']}")

2. 异常处理机制
   生产环境中必须添加完善的错误处理：
   python try: with open('data.csv', 'r', encoding='utf-8') as f: data = f.readlines() except FileNotFoundError: print("错误：文件路径不存在") except UnicodeDecodeError: print("错误：尝试使用GBK编码重新读取")

3. 大文件读取优化
   处理GB级文件时，建议使用生成器逐行读取：
   python def chunk_reader(file_path, chunk_size=1024): with open(file_path, 'r') as f: while True: data = f.read(chunk_size) if not data: break yield data

二、数据清洗的核心技巧

遇到包含混合内容的文本文件时，正则表达式是最强力的工具：

python
import re

def clean_text(text):
# 去除HTML标签
text = re.sub(r'<[^>]+>', '', text)
# 标准化日期格式
text = re.sub(r'(\d{4})/-/-', r'\1-\2-\3', text)
# 处理特殊符号
text = text.replace('¥', '￥').replace(' ', ' ')
return text.strip()

三、结构化数据处理

使用Pandas进行高效计算：

python
import pandas as pd

智能类型转换

df = pd.readcsv('sales.csv', converters={ 'amount': lambda x: float(x.replace('￥','')), 'date': pd.todatetime
})

高级分组计算

monthly_stats = df.groupby(pd.Grouper(key='date', freq='M')).agg({
'amount': ['sum', 'mean', 'count'],
'product': pd.Series.mode
})

四、可视化呈现技巧

数据计算结果需要直观展示：

python
import matplotlib.pyplot as plt

plt.style.use('seaborn')
fig, ax = plt.subplots(figsize=(10,6))
monthlystats['amount']['sum'].plot( kind='bar', color='steelblue', ax=ax, title='月度销售额趋势' ) ax.setylabel('销售额（万元）')
plt.xticks(rotation=45)
plt.tightlayout() plt.savefig('salestrend.png', dpi=300)

五、性能优化建议

1. 对于超大型文件（>1GB），考虑使用Dask替代Pandas
2. 定期使用gc.collect()手动释放内存
3. 将中间结果保存为HDF5格式，比CSV节省50%空间

六、常见问题解决方案

问题1：文件内容包含损坏数据
方案：使用pd.read_csv()的error_bad_lines=False参数跳过错误行

问题2：需要处理嵌套JSON结构
方案：配合使用json_normalize展开嵌套字段

问题3：内存不足导致读取失败
方案：采用分块读取+分批处理模式：
python chunk_iter = pd.read_csv('huge_file.csv', chunksize=50000) for chunk in chunk_iter: process(chunk)

通过以上方法，我们可以构建健壮的文本数据处理流程。实际项目中，建议将这些操作封装成自动化流水线，配合Airflow等调度工具实现可持续的数据处理体系。