爬虫代理 IP：数据采集用的住宅代理

爬虫跑不动，八成不是代码问题，而是出口 IP 被识别了。目标站看到的是一个机房网段、同一个 ASN、每分钟几百次请求， 风控系统不用多聪明就能把它拦下来。爬虫代理要解决的，就是让每个请求从不同的真实家庭网络出去，把「这台机器在批量抓」 变成「很多个普通用户分别在访问」。

先分级，再选池子

不是所有站都值得为住宅 IP 付钱。先给目标分个级，钱花在会被拦的那一类上：

实际项目里，一次采集往往同时碰到三类：受保护的 HTML 页面、开放的 JSON 接口、放图片的 CDN。按域名分流，只让第一类走住宅， 住宅流量通常能省下三分之一。

轮换、并发、节奏：三个你能控制的东西

IP 信誉你控制不了，但你能控制「每个 IP 打多少次」和「请求长什么样」。前者靠轮换，后者靠请求头、Cookie 和间隔。

# requests：每个请求换一个 IP，最简单也最有效
import requests, uuid

def proxy():
    user = "账号-country-us-sid-" + uuid.uuid4().hex[:12]
    p = "http://%s:密码@网关:端口" % user
    return {"http": p, "https": p}

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 "
                  "(KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36",
    "Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8",
}
r = requests.get("https://目标站/商品页", proxies=proxy(), headers=headers, timeout=30)
print(r.status_code, len(r.text))

# Scrapy：中间件里换 IP + 自动限速，别把并发写死
# settings.py
CONCURRENT_REQUESTS = 16
CONCURRENT_REQUESTS_PER_DOMAIN = 8
DOWNLOAD_DELAY = 1.0
RANDOMIZE_DOWNLOAD_DELAY = True
AUTOTHROTTLE_ENABLED = True
AUTOTHROTTLE_TARGET_CONCURRENCY = 4.0
RETRY_TIMES = 2
DOWNLOADER_MIDDLEWARES = {
    "scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware": None,
    "myproject.middlewares.RotatingProxy": 543,
}

重试要换新的 sid，不要拿同一个会话反复撞。403 通常说明「这条 IP 被打爆了」，不是「这个 URL 打不开」， 换 IP 重试一次，成功率能回来一大半。

别渲染你能直接读的东西

开一个无头浏览器，流量是普通 HTTP 请求的 10~50 倍，而你买的正是流量。动手写 Playwright 之前先确认三件事： 页面有没有 JSON-LD 或 __NEXT_DATA__、有没有可以直接调的 JSON 接口、不执行 JS 的 HTML 里是否已经有你要的字段。 实际项目里，大约三分之二的商品页和列表页能用上面任意一条解决。

成本怎么算

两个结论：第一，失败重试也在烧流量，所以成功率比单价更能决定成本；第二，最省钱的优化通常是「减少每页字节数」， 而不是「找更便宜的代理」。

被拦了，按这个顺序排查

合规提醒

代理改变的是请求来源，不改变行为的合法性。只采集你有权访问的公开数据，遵守目标站的 robots 规则与服务条款， 把请求频率控制在真人可能产生的范围内，不要用于撞库、刷单、绕过付费墙或规避平台已经对你作出的处罚。 数据用途的合规责任在使用方。

常见问题