悠悠楠杉
网站页面
Python爬虫怎样保存爬取结果
11/14
最简单的方式是保存为文本文件。对于少量数据或临时测试，直接写入.txt文件即可。例如，使用open()函数配合write()方法，将标题和正文按行写入：
python
with open('article.txt', 'a', encoding='utf-8') as f:
f.write(f"标题：{title}\n")
f.write(f"正文：{content}\n\n")
这种方式虽然直观，但缺乏结构，不利于后期检索。更推荐的做法是使用结构化格式，比如CSV。CSV文件可以用Excel打开，也便于导入数据分析工具。利用Python内置的csv模块，可以轻松将字典形式的数据写入：
python
import csv
data = {
'标题': title,
'关键词': keywords,
'描述': description,
'正文': content
}
with open('articles.csv', 'a', newline='', encoding='utf-8-sig') as f:
writer = csv.DictWriter(f, fieldnames=data.keys())
if f.tell() == 0: # 判断是否为空文件，决定是否写表头
writer.writeheader()
writer.writerow(data)
注意这里使用了utf-8-sig编码，避免Excel打开时中文乱码。如果数据包含复杂嵌套结构，比如多个关键词组成的列表，JSON会是更好的选择。json模块支持直接序列化字典或列表：
python
import json
datalist.append(data) # 累积多条数据 with open('articles.json', 'w', encoding='utf-8') as f: json.dump(datalist, f, ensure_ascii=False, indent=2)
这种方式适合前后端交互或配置存储，读取也十分方便。
当数据量增大或需要频繁查询时，文件存储的局限性就显现出来了。此时应考虑数据库。关系型数据库如MySQL适合结构固定、需要关联查询的场景。通过pymysql或sqlalchemy，可以将数据插入表格：
python
import pymysql
conn = pymysql.connect(host='localhost', user='root', password='123456', db='spider_db', charset='utf8mb4')
cursor = conn.cursor()
sql = "INSERT INTO articles (title, keywords, description, content) VALUES (%s, %s, %s, %s)"
cursor.execute(sql, (title, keywords, description, content))
conn.commit()
conn.close()
而面对非结构化或半结构化数据，如动态字段、不定长内容，NoSQL数据库更具优势。MongoDB是一个典型选择，使用pymongo插入文档极为简洁：
python
from pymongo import MongoClient
client = MongoClient('mongodb://localhost:27017/')
db = client['spider']
collection = db['articles']
collection.insert_one(data)
无需预定义表结构，灵活性高，特别适合快速迭代的爬虫项目。
无论选择哪种方式，都需注意数据去重、异常处理和性能优化。例如，在写入前判断记录是否已存在，避免重复入库；使用批量插入提升数据库写入效率；合理设置文件编码防止乱码。
综上所述，保存爬取结果并非单一技术问题，而是需要结合数据规模、使用场景和维护成本综合考量。小项目可用CSV或JSON，长期运行的系统则建议接入数据库。只有将数据妥善存储，爬虫的价值才能真正释放。
