之前简单介绍过 Squid 搭建正向代理服务器,但是这种方式搭建的代理服务器仅为普通代理,目标网站依然能检测到我们的真实ip,实际的爬虫业务中我们需要的是高匿代理,隐藏爬虫的真实ip。

  1. 实现方法比较简单,只需要将如下配置加入到配置文件/etc/squid/squid.conf末尾即可。

    1
    2
    3
    
    request_header_access Via deny all
    request_header_access X-Forwarded-For deny all
    request_header_access From deny all
  2. 重新加载配置文件: squid -k reconfigure

  3. 配置浏览器http代理,在此不再详述。

  4. 检测代理

可以访问 http://httpbin.org/ip ,如果仅返回squid服务器ip,则表明高匿生效。

或者访问Proxy Checker,网页显示详细的代理检测信息。

代理检测

如果网页最上方显示NO PROXY DETECTED 则表明高匿代理搭建成功。