引言：当爬虫遭遇"空手而归"的困境

进行网页数据抓取时，最令人沮丧的情况莫过于代码运行无误但返回空数组。作为使用 Scrapy 框架的开发者，我多次经历这种"看似成功实则失败"的抓取过程。本文将分享我在解决 Scrapy 返回空数组问题上的实战经验，帮助您系统性地排查和解决这类问题。

一、基础检查：排除常见低级错误

1.1 确认目标网页结构是否变更

python

在shell中直接测试XPath/CSS选择器

scrapy shell "https://example.com"
response.xpath('//div[@class="content"]') # 检查是否真的能选中元素

典型现象：开发时有效的选择器突然失效，这往往是网站前端改版导致的。我曾在某电商项目中发现，他们每周会微调class名称来防止爬虫。

1.2 验证请求是否成功

python

在parse方法中加入状态检查

def parse(self, response):
if response.status != 200:
self.logger.error(f"请求失败，状态码: {response.status}")
return

经验分享：某次抓取新闻网站时，看似正常的请求实际上被重定向到了登录页，而Scrapy默认会跟随重定向，导致"静默失败"。

二、动态内容加载：现代网页的爬取挑战

2.1 识别AJAX请求

解决方案：
1. 使用浏览器开发者工具（F12）的Network面板
2. 过滤XHR/fetch请求
3. 直接模拟这些API请求

python

示例：直接请求AJAX接口

yield scrapy.Request(
'https://example.com/api/data',
callback=self.parseapidata
)

实战案例：某社交媒体网站看似简单，实则所有内容通过加密的API加载，需要逆向分析其请求参数。

2.2 使用Splash或Selenium集成

python

settings.py中启用Splash

SPLASH_URL = 'http://localhost:8050'

DOWNLOADERMIDDLEWARES = { 'scrapysplash.SplashCookiesMiddleware': 723,
'scrapy_splash.SplashMiddleware': 725,
'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,
}

注意点：这类方案虽然强大，但会显著降低爬取速度，需权衡使用。

三、反爬机制：网站设下的重重关卡

3.1 基础反爬识别

常见防护手段：
- User-Agent检测
- 请求频率限制
- IP封禁
- 验证码挑战
- JavaScript挑战（如Cloudflare）

3.2 应对策略配置

python

settings.py中的防反爬配置

DOWNLOADDELAY = 2 # 请求延迟 CONCURRENTREQUESTSPERDOMAIN = 4 # 并发限制
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'

使用RotatingProxyMiddleware

ROTATINGPROXYLIST = [
'proxy1.com:8000',
'proxy2.com:8000'
]

血泪教训：曾因过于激进的爬取策略导致公司IP被某招聘网站封禁一周，后来学会了"慢就是快"的道理。

四、数据解析陷阱：那些不起眼但致命的小错误

4.1 XPath/CSS选择器优化

python

不良实践

response.xpath('//div/div/div[2]/div/span/text()').extract()

改进方案

response.xpath('//div[contains(@class, "article-content")]//text()').extract()

经验之谈：相对路径比绝对路径更健壮，使用contains()等函数可以应对class微调。

4.2 处理JavaScript生成的内容

对于动态生成的DOM元素，常规选择器无效。解决方案包括：
1. 分析前端代码找到数据源
2. 使用正则提取JSON数据
3. 模拟浏览器执行JS

python

示例：从script标签提取JSON数据

import json
import re

scriptdata = response.xpath('//script[contains(., "window.DATA")]/text()').get() jsonstr = re.search(r'window.DATA = ({.*?});', script_data).group(1)
data = json.loads(json_str)

五、高级调试技巧

5.1 使用Scrapy的调试工具

python

在parse方法中插入调试输出

from scrapy.shell import inspectresponse inspectresponse(response, self)

技巧：这个交互式shell可以实时测试选择器，比反复运行爬虫高效得多。

5.2 日志分析配置

python

settings.py

LOGLEVEL = 'DEBUG' LOGFILE = 'scrapy.log'

自定义日志格式

import logging
logger = logging.getLogger()
logger.setLevel(logging.DEBUG)

建议：建立系统化的日志分析流程，特别是对大规模分布式爬虫。

六、架构层面的解决方案

6.1 实现自动重试机制

python

settings.py

RETRYENABLED = True RETRYTIMES = 3
RETRYHTTPCODES = [500, 502, 503, 504, 408, 429]

自定义重试中间件

class CustomRetryMiddleware(RetryMiddleware):
def processresponse(self, request, response, spider): if response.status in self.RETRYHTTPCODES: reason = f"状态码 {response.status}" return self.retry(request, reason, spider) or response
return response

6.2 构建异常检测系统

完善监控系统应该包括：
- 空结果率监控
- 响应时间监控
- 内容相似度检测（防反爬）
- 自动报警机制

结语：爬虫开发是持续的战斗

解决Scrapy返回空数组问题没有银弹，需要开发者具备系统性的调试思维。从我的经验来看，成功的网页抓取=技术实现×对目标网站的理解×对抗反爬的策略。每一次问题的解决都是对技术能力的提升，而正是这些挑战让爬虫开发如此富有魅力又充满成就感。

记住，当你的爬虫再次返回空数组时，不要沮丧——这不过是又一个等待被解决的谜题而已。