Java Proxy代理在爬虫中的应用

Java Proxy在爬虫中的应用

一 作用与适用场景

• 降低单 IP 的访问频率，分散风险，缓解 IP 封禁、验证码、限流等问题。
• 突破简单的 地理限制 或访问策略差异，获取目标站点在特定区域的公开数据。
• 在大规模采集时，通过多节点并发提升吞吐与稳定性。
• 注意：应优先通过正规渠道获取代理资源（如自建或付费代理），免费代理稳定性与合规性通常较差。

二 常见实现方式与代码示例

• 原生 HttpURLConnection + Proxy

  URL url = new URL("https://example.com");
  Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress("58.220.95.54", 9401));
  HttpURLConnection conn = (HttpURLConnection) url.openConnection(proxy);
  conn.setRequestMethod("GET");
  conn.setConnectTimeout(5000);
  conn.setReadTimeout(10000);
  // ... read response
  

• Apache HttpClient（支持认证、连接池、超时等）

  HttpHost proxy = new HttpHost("121.36.44.97", 8080);
  RequestConfig config = RequestConfig.custom()
      .setProxy(proxy)
      .setConnectTimeout(5000)
      .setSocketTimeout(10000)
      .build();
  CloseableHttpClient client = HttpClients.custom()
      .setDefaultRequestConfig(config)
      .build();
  
  HttpGet req = new HttpGet("https://example.com");
  try (CloseableHttpResponse resp = client.execute(req)) {
      // ... handle response
  }
  

• Jsoup（便捷爬虫场景）

  Document doc = Jsoup.connect("https://example.com")
      .proxy("112.113.122.113", 3128)
      .userAgent("Mozilla/5.0")
      .timeout(10000)
      .get();
  

• 代理认证（HttpClient 示例）

  CredentialsProvider creds = new BasicCredentialsProvider();
  creds.setCredentials(
      new AuthScope("proxy_host", 8080),
      new UsernamePasswordCredentials("user", "pass")
  );
  HttpClientContext ctx = HttpClientContext.create();
  ctx.setCredentialsProvider(creds);
  // 在 execute 时传入 ctx
  

• 全局代理（不推荐用于细粒度控制）

  System.setProperty("http.proxyHost", "123.123.123.123");
  System.setProperty("http.proxyPort", "8080");
  System.setProperty("https.proxyHost", "123.123.123.123");
  System.setProperty("https.proxyPort", "8080");
  

以上示例覆盖了 HttpURLConnection、HttpClient 与 Jsoup 三种主流用法，并包含认证与全局代理的基本配置。

三 代理池设计与动态代理增强

• 代理池关键能力
  • 可用性校验：定时检测（如每小时），剔除不可用节点。
  • 权重与调度：按响应速度/成功率加权选择，优先使用优质节点。
  • 故障隔离与自动淘汰：连续失败（如3次）移出可用列表。
  • 并发与复用：线程安全的数据结构与连接池配合，减少握手开销。
• 简易内存池示例（线程安全）

  class ProxyNode {
      final String host;
      final int port;
      volatile int failures;
      long lastCheck;
      double speedMs;
      // getters/setters ...
  }
  
  class ProxyPool {
      private final ConcurrentHashMap<String, ProxyNode> pool = new ConcurrentHashMap<>();
      private final ScheduledExecutorService scheduler = Executors.newSingleThreadScheduledExecutor();
  
      void add(String host, int port) {
          pool.put(host + ":" + port, new ProxyNode(host, port));
      }
      ProxyNode acquire() { /* 按权重/最少使用/最快响应选择 */ }
      void release(ProxyNode n, boolean success) { /* 成功+1，失败计数，必要时标记隔离 */ }
      void startHealthCheck(long interval, TimeUnit unit) {
          scheduler.scheduleAtFixedRate(this::checkAll, interval, interval, unit);
      }
  }
  

• 使用 Java 动态代理 解耦“IP调度/重试/统计”与业务请求

  interface HttpClient { String send(String url, ProxyNode p) throws Exception; }
  
  class HttpClientHandler implements InvocationHandler {
      final HttpClient target;
      final ProxyPool pool;
      public Object invoke(Object proxy, Method m, Object[] args) throws Throwable {
          int retries = 3;
          for (int i = 0; i < retries; i++) {
              ProxyNode p = pool.acquire();
              try {
                  Object r = m.invoke(target, args[0], p);
                  pool.release(p, true);
                  return r;
              } catch (Exception e) {
                  pool.release(p, false);
                  if (i == retries - 1) throw e;
                  Thread.sleep(500 * (i + 1));
              }
          }
          throw new RuntimeException("All retries failed");
      }
  }
  // 使用：HttpClient proxied = (HttpClient) Proxy.newProxyInstance(
  //     c.getClass().getClassLoader(), new Class[]{HttpClient.class},
  //     new HttpClientHandler(realClient, pool));
  

上述设计将调度、重试、熔断等非业务代码织入调用链，便于横向扩展与统一治理。

四 稳定性与合规要点

• 合理控制频率：建议单 IP 不超过每秒3次请求，配合随机延迟与退避策略。
• 尊重 robots.txt 与站点条款，避免抓取受限或敏感数据。
• 异常与重试：对 SocketTimeoutException、连接失败等进行指数退避与切换代理重试。
• 代理质量优先：优先选择自建/付费节点，定期剔除高失败率与高延迟节点。
• 合规与法律边界：仅采集公开数据，不得绕过身份验证、侵犯隐私或规避合法安全措施。