正文：

在Web开发和数据分析领域，捕获网络请求与API响应是获取动态数据的关键手段。传统的爬虫工具难以处理JavaScript渲染的页面，而Selenium作为浏览器自动化工具，能够完美解决这一问题。本文将手把手教你如何用Python Selenium实现网络请求的捕获，并提取关键API数据。

1. 为什么需要捕获网络请求？

现代网站大量依赖异步加载技术，数据通常通过XHR（XMLHttpRequest）或Fetch API动态获取。例如，电商网站的价格、评论等数据往往通过后端接口返回。直接解析HTML无法获取这些内容，而通过监听网络请求，可以精准定位数据接口。

2. 环境配置

使用Selenium的WebDriver配合浏览器开发者工具（如Chrome DevTools Protocol）实现请求监听。以下是基础配置：

from selenium import webdriver  
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities  

# 启用Chrome的Network日志记录  
caps = DesiredCapabilities.CHROME  
caps['goog:loggingPrefs'] = {'performance': 'ALL'}  

driver = webdriver.Chrome(desired_capabilities=caps)  
driver.get("https://example.com")  

3. 捕获请求与响应

通过解析浏览器日志，可以提取请求的URL、方法（GET/POST）、状态码和响应体：

def get_network_logs(driver):  
    logs = driver.get_log('performance')  
    requests = []  
    for entry in logs:  
        log = json.loads(entry['message'])['message']  
        if log['method'] == 'Network.responseReceived':  
            url = log['params']['response']['url']  
            status = log['params']['response']['status']  
            requests.append((url, status))  
    return requests  

# 示例输出：  
# [('https://api.example.com/data', 200), ...]  

4. 高级技巧：拦截特定API

若需直接获取响应内容，可通过Selenium Wire（增强版Selenium）实现：

from seleniumwire import webdriver  

driver = webdriver.Chrome()  
driver.get("https://example.com")  

for request in driver.requests:  
    if request.url.startswith("https://api.target.com"):  
        print(request.url, request.response.body.decode('utf-8'))  

5. 实际应用场景

• 数据爬取：动态加载的新闻、价格、社交媒体内容。
• 自动化测试：验证接口返回是否符合预期（如HTTP状态码、JSON结构）。
• 性能分析：统计页面加载过程中的请求耗时。

注意事项

• 部分网站对自动化工具检测严格，需合理设置请求头（如User-Agent）。
• 频繁请求可能触发反爬机制，建议添加延时（如time.sleep(2)）。

通过上述方法，你可以轻松突破静态爬虫的限制，直接获取动态数据源。无论是开发爬虫还是测试API，Selenium的网络请求捕获功能都能显著提升效率。