HTTP代理平时接触不少,真正要用的时候,才发现类型繁多,不清楚去哪里获取代理列表。我整理自己实操和搜集到的信息,没法覆盖全部,但主流类型都包含在内。
按照匿名等级划分是最常用分类方式。透明代理,服务端能够识别你使用代理,同时获取真实IP,多用于企业网关或者缓存加速,没有隐藏IP效果。匿名代理,服务端知道请求来自代理,但无法拿到真实IP,可以起到基础遮挡作用。高匿代理,服务端无法识别代理访问,也获取不到真实IP,爬虫、需要隐藏身份场景优先选择。三类代理请求头存在区别,透明代理携带 X-Forwarded-For 和 Via,匿名代理可能保留 Via,高匿代理清除这类请求头,请求看起来等同于直接访问。

按协议划分,HTTP代理主要处理HTTP请求;HTTPS代理依靠CONNECT方法建立隧道,转发加密流量。很多人把SOCKS代理归为同类,SOCKS5工作层级更低,TCP、UDP流量都支持,游戏、邮件客户端都能使用,但不属于HTTP代理,配置时要区分。浏览器配置HTTP代理和SOCKS代理操作不一样,协议填错无法连通。
按来源划分,公共免费代理、付费代理、自建代理。公共免费代理网上公开,IP端口所有人可用。付费代理由服务商提供,带身份认证、客服支持,附带流量限额。自建代理是购买VPS,部署Squid或者3proxy,单独使用,可控性最强。
获取代理列表,有几种常用途径。
免费公开列表最容易获取。free-proxy-list.net、proxy-list.download、spys.one这类网站,打开直接查看IP端口,支持按国家、协议、匿名度筛选。GitHub有不少仓库持续维护,TheSpeedX/PROXY-List、clarketm/proxy-list、monosans/proxy-list,仓库依靠脚本定时抓取验证,更新频率高,可以直接拉取使用。缺点是免费代理存活周期短,拿到列表一半节点已经失效,速度慢,安全性没有保障。不要用免费代理登录账号、传输敏感文件,流量经过第三方服务器,存在记录、篡改风险。
部分网站开放API接口,ProxyScrape、Geonode、IPRoyal注册获取密钥,按请求格式调取代理列表。免费调用额度有限,一般每日几百次请求,适合小规模测试。付费服务商API稳定性更强,代理质量更高,需要支付费用。
付费代理是另一选择。Bright Data、Oxylabs、Smartproxy、IPRoyal、ProxyScrape都提供HTTP代理产品,分为住宅代理和数据中心代理。住宅代理IP来自真实用户设备,匿名度高,适合模拟普通用户访问;数据中心代理速度快、价格偏低,但更容易被识别。付费代理大多按流量或者IP数量计费,支持账号密码认证,后台查看流量统计,故障可以联系客服。正式业务场景,付费代理比搜集免费列表省心。
自建代理适合掌握技术的人群。购买云服务器,部署Squid、TinyProxy或者3proxy,配置账号认证和端口,得到专属代理。成本就是服务器费用,可控程度最高,但需要自行维护,IP被封禁也要手动更换。需求量不大的场景,自建是稳妥方案。
拿到代理列表不能直接投入使用,需要验证。编写脚本批量测试连通状态、延迟、匿名等级,筛选有效节点。proxy_pool这类开源项目,可以自动抓取、校验、评分,剔除失效节点,适合大批量代理需求。手动测试,至少用目标网站访问验证,确认连通。
代理列表不是一次性资源,免费代理需要频繁更新,付费代理也要持续评估服务商质量。使用前明确需求:临时换IP浏览网页,长期爬虫采集,大批量住宅IP采集数据。需求不同,选择方案不一样。