标题：Java中如何优雅地模拟浏览器User-Agent与修改请求头
关键词：Java User-Agent, HTTP请求头, 网络爬虫, HttpClient, 请求伪装
描述：本文深入讲解Java中模拟浏览器User-Agent的5种实战方法，包含HttpClient、URLConnection等核心类的代码示例，助你轻松实现请求头伪装。

正文：

在数据采集和接口测试场景中，模拟真实浏览器请求是绕过反爬机制的关键。通过修改User-Agent等HTTP头信息，可以让服务器认为请求来自普通浏览器而非程序。以下是Java实现这一需求的完整方案。

一、核心原理与注意事项

User-Agent是HTTP协议中的身份标识字符串，主流浏览器的典型格式如下：
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36
需注意：
1. 不同浏览器有特定语法结构
2. 移动端和PC端UA差异明显
3. 需定期更新以匹配最新浏览器版本

二、HttpClient方案（推荐）

Apache HttpClient是最专业的HTTP客户端库，4.5+版本示例：

CloseableHttpClient httpClient = HttpClients.createDefault();
HttpGet request = new HttpGet("https://example.com");

// 设置现代Chrome的UA
request.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36");

// 添加其他常见头
request.setHeader("Accept-Language", "zh-CN,zh;q=0.9");
request.setHeader("Accept-Encoding", "gzip, deflate, br");

try (CloseableHttpResponse response = httpClient.execute(request)) {
    // 处理响应...
}

三、原生URLConnection实现

JDK内置方案适合简单场景：

URL url = new URL("https://example.com");
HttpURLConnection conn = (HttpURLConnection) url.openConnection();

// 设置Firefox的UA
conn.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/115.0");

// 重要：必须调用connect()才会发送头信息
conn.connect();

四、动态UA轮换策略

为避免单一UA被封锁，建议实现动态池：

public class UAPool {
    private static final String[] UA_LIST = {
        // Chrome
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36...",
        // Firefox 
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:109.0)...",
        // Edge
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36..."
    };
    
    public static String getRandomUA() {
        return UA_LIST[new Random().nextInt(UA_LIST.length)];
    }
}

五、完整请求头伪装方案

真实浏览器会发送20+个请求头，建议至少包含以下关键头：

request.setHeader("Accept", "text/html,application/xhtml+xml");
request.setHeader("Connection", "keep-alive");
request.setHeader("Cache-Control", "max-age=0");
request.setHeader("Upgrade-Insecure-Requests", "1");

通过合理配置请求头，配合IP轮换等策略，可显著提升数据采集成功率。建议定期检查目标网站的响应状态码，当出现403等错误时及时更新UA库。