爬虫代理IP解决的问题很直接，单个IP短时间高频访问目标网站，会被识别封禁。代理充当你和目标站点中间节点，请求经由代理服务器发出，网站看到的访问IP是代理地址，不是本机IP。一个IP被封，切换其他IP，爬虫采集工作就能继续跑。
代理按匿名等级划分，透明代理会暴露真实IP；普通匿名代理，网站能识别代理访问，但拿不到真实IP；高匿代理伪装成普通用户访问。爬虫大多选用高匿代理，但高匿不等于不会被封，网站还能依靠请求频率、Cookie、浏览器指纹识别爬虫，代理只是反爬环节其中一环。
按来源区分，数据中心代理速度快、价格低，但IP段容易被识别，很多站点直接封禁整个机房IP段。住宅代理来自真实家庭宽带，可信度高，封禁概率更低，缺点是价格偏高，速度偏弱。移动代理依托蜂窝网络，IP池更大、IP干净度好，成本最高。ISP代理介于数据中心和住宅代理之间，部署在机房但IP归属标记为住宅，速度和可信度相对均衡。选型看目标站点风控强度，以及预算。
代理使用方式分两种。动态转发，每次请求分配不同出口IP，适合大规模采集。静态绑定，单个IP长期复用，适合维持会话，比如登录账号之后持续操作。多数爬虫框架自带代理中间件，Scrapy通过downloadmiddlewares配置，requests库直接在请求参数写入proxies字典。
自建代理池思路，收集IP，验证可用性，循环轮换。IP获取渠道包含公开免费代理列表、付费代理服务商API、自行VPS搭建独享代理。免费列表里大部分IP不可用，需要脚本批量连通性检测，再用目标站点做真实请求校验，确认返回正常内容。校验通过IP存入数据库或者Redis，分配评分，每次请求随机调取，请求失败扣分，分数低于阈值直接剔除。代理池需要持续维护，定期重测，淘汰失效IP。
VPS搭建代理服务器，常用Squid和3proxy。Squid搭建HTTP代理，配置文件设置监听端口、允许访问IP段、认证方式。3proxy更轻量化，支持HTTP、SOCKS协议，几行配置文件即可启动。爬虫代码填写服务器IP和端口调用。缺点是IP归属只有这一台VPS，一旦IP封禁就要更换服务器，所以自建适合小规模低频采集，大规模爬虫还是依赖付费代理池服务。
付费代理服务商提供API接口，每次调用返回可用IP与端口，部分附带认证信息。代码对接API，每次请求获取IP，使用完毕放回池子或者直接丢弃。这种方式省去自行维护代理池的工作量，但流量成本要核算清楚，住宅代理按GB计费，采集量大开销会快速上涨。
代理池维护有几项要点。定期全量验证IP，剔除失效节点；动态评分机制，根据请求成功率、响应速度打分，优先调用高分IP；控制并发，同一个IP不要短时间大量请求，降低封禁概率；请求头随机化处理，User-Agent、Referer、Accept不要固定不变；触发验证码或者封禁页面，自动降低该IP权重或者拉黑。
代理只是爬虫对抗反爬的工具，更换IP不等于万事大吉。目标站点反爬策略持续迭代，爬虫策略也要同步调整。控制请求速率、模拟真人浏览行为、处理JS渲染、应对验证码，这些工作比单纯切换IP更耗费精力。代理池搭建完成之后，持续调优属于常态。