Scrapy · CONFIGURAR PROXY

Configurar proxy no Scrapy

Python crawling framework with its own downloader middleware stack. Aponte para o pool residencial da Eveses com a configuração abaixo — a geolocalização fica no nome de usuário, então trocar de país não exige mexer em mais nada.

proxy.eveses.com:12321 · SOCKS5 em 32325 · 199 países · a partir de $7.35/GB

Obter proxies →Todas as integrações
Atenção

Scrapy will not pick the proxy up from `http_proxy` for HTTPS targets. It has to go through `HttpProxyMiddleware`, and the credentials must be set on the request rather than in the URL — a proxy URL with a password in it is silently stripped from `meta["proxy"]`.

Configuração

# settings.py
DOWNLOADER_MIDDLEWARES = {
    "scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware": 110,
    "myproject.middlewares.EvesesProxyMiddleware": 100,   # must run BEFORE 110
}

# middlewares.py
import base64

class EvesesProxyMiddleware:
    USER = "eveses_user_country-us"     # add geo tokens to the username
    PASS = "YOUR_PROXY_PASSWORD"

    def process_request(self, request, spider):
        request.meta["proxy"] = "http://proxy.eveses.com:12321"
        creds = base64.b64encode(f"{self.USER}:{self.PASS}".encode()).decode()
        request.headers["Proxy-Authorization"] = f"Basic {creds}"

Notas para Scrapy

Give the middleware a lower number than HttpProxyMiddleware (110) so it sets `meta["proxy"]` first.

Rotate per request by appending a fresh `_session-…` token to the username inside `process_request`.

Leave `RETRY_TIMES` at its default; a blocked exit IP retries onto a different one automatically.

Troque de país sem mexer no Scrapy

Alemanhaeveses_user_country-de
Fixa por 30 mineveses_user_country-de_session-ab12cd34_lifetime-30m

A geolocalização e a sessão ficam no nome de usuário, não no host nem na porta. Toda a configuração desta página continua igual quando você troca de país — você edita uma única string. São 199 países endereçáveis, com tokens de cidade e região na maioria deles.

Perguntas frequentes

Como configuro um proxy no Scrapy?›
Aponte para proxy.eveses.com, porta 12321 para HTTP ou 32325 para SOCKS5, e autentique com seu usuário e senha de proxy da Eveses. A sintaxe exata está no trecho acima. Scrapy will not pick the proxy up from `http_proxy` for HTTPS targets. It has to go through `HttpProxyMiddleware`, and the credentials must be set on the request rather than in the URL — a proxy URL with a password in it is silently stripped from `meta["proxy"]`.
Como escolho o país pelo qual o Scrapy sai?›
Acrescente um token de geolocalização ao NOME DE USUÁRIO em vez de trocar o host: eveses_user_country-de sai pela Alemanha, eveses_user_country-us pelos Estados Unidos. Assim são 199 países endereçáveis, e tokens de cidade ou região afinam mais. Nada mais muda na sua configuração do Scrapy.
Como mantenho o mesmo IP entre requisições no Scrapy?›
Acrescente um token de sessão — eveses_user_country-us_session-ab12cd34_lifetime-30m — e toda requisição com esse usuário sai pelo mesmo endereço até o tempo acabar. Sem o token, cada requisição rotaciona para um IP novo.
Quanto custa?›
O tráfego residencial é cobrado por gigabyte da sua carteira Eveses: $7.35/GB a 1 GB, caindo para $2.57/GB em volume. Não há cobrança por ferramenta, e as mesmas credenciais valem em todas ao mesmo tempo.
Cole seu curl → receba em python →

Outras integrações

SeleniumPuppeteerPlaywrightPython requestsHTTPXaiohttpAxiosnode-fetch / undiciGuzzlecURL

Rode Scrapy sobre IPs residenciais

$7.35/GB a 1 GB, $2.57/GB em volume — as mesmas credenciais em todas as ferramentas.

Obter proxies →