Scrapy · CONFIGURATION PROXY

Configurer un proxy dans Scrapy

Python crawling framework with its own downloader middleware stack. Pointez-le vers le pool résidentiel Eveses avec la configuration ci-dessous : la géo vit dans le nom d’utilisateur, donc changer de pays n’exige rien d’autre.

proxy.eveses.com:12321 · SOCKS5 sur 32325 · 199 pays · dès $7.35/Go

Obtenir des proxys →Toutes les intégrations
Attention

Scrapy will not pick the proxy up from `http_proxy` for HTTPS targets. It has to go through `HttpProxyMiddleware`, and the credentials must be set on the request rather than in the URL — a proxy URL with a password in it is silently stripped from `meta["proxy"]`.

Configuration

# settings.py
DOWNLOADER_MIDDLEWARES = {
    "scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware": 110,
    "myproject.middlewares.EvesesProxyMiddleware": 100,   # must run BEFORE 110
}

# middlewares.py
import base64

class EvesesProxyMiddleware:
    USER = "eveses_user_country-us"     # add geo tokens to the username
    PASS = "YOUR_PROXY_PASSWORD"

    def process_request(self, request, spider):
        request.meta["proxy"] = "http://proxy.eveses.com:12321"
        creds = base64.b64encode(f"{self.USER}:{self.PASS}".encode()).decode()
        request.headers["Proxy-Authorization"] = f"Basic {creds}"

Notes pour Scrapy

Give the middleware a lower number than HttpProxyMiddleware (110) so it sets `meta["proxy"]` first.

Rotate per request by appending a fresh `_session-…` token to the username inside `process_request`.

Leave `RETRY_TIMES` at its default; a blocked exit IP retries onto a different one automatically.

Changer de pays sans toucher à Scrapy

Allemagneeveses_user_country-de
Fixe 30 mineveses_user_country-de_session-ab12cd34_lifetime-30m

La géo et la session vivent dans le nom d’utilisateur, pas dans l’hôte ni dans le port. Toute la configuration de cette page reste identique quand vous changez de pays — vous modifiez une seule chaîne. 199 pays sont adressables, avec des tokens de ville et de région dans la plupart.

FAQ

Comment configurer un proxy dans Scrapy ?›
Pointez-le vers proxy.eveses.com, port 12321 en HTTP ou 32325 en SOCKS5, et authentifiez-vous avec votre identifiant et mot de passe proxy Eveses. La syntaxe exacte est dans l’extrait ci-dessus. Scrapy will not pick the proxy up from `http_proxy` for HTTPS targets. It has to go through `HttpProxyMiddleware`, and the credentials must be set on the request rather than in the URL — a proxy URL with a password in it is silently stripped from `meta["proxy"]`.
Comment choisir le pays de sortie de Scrapy ?›
Ajoutez un token de géo au NOM D’UTILISATEUR plutôt que de changer l’hôte : eveses_user_country-de sort en Allemagne, eveses_user_country-us aux États-Unis. 199 pays sont adressables ainsi, et les tokens de ville ou de région affinent encore. Rien d’autre ne change dans votre configuration Scrapy.
Comment garder la même IP entre les requêtes dans Scrapy ?›
Ajoutez un token de session — eveses_user_country-us_session-ab12cd34_lifetime-30m — et chaque requête portant ce nom d’utilisateur sort par la même adresse jusqu’à expiration. Sans le token, chaque requête tourne sur une IP fraîche.
Combien ça coûte ?›
Le trafic résidentiel est facturé au gigaoctet depuis votre portefeuille Eveses : $7.35/Go à 1 Go, jusqu’à $2.57/Go en volume. Aucun supplément par outil, et les mêmes identifiants fonctionnent partout à la fois.
Collez votre curl → récupérez-le en python →

Autres intégrations

SeleniumPuppeteerPlaywrightPython requestsHTTPXaiohttpAxiosnode-fetch / undiciGuzzlecURL

Faire tourner Scrapy sur des IP résidentielles

$7.35/Go à 1 Go, $2.57/Go en volume — les mêmes identifiants dans tous les outils.

Obtenir des proxys →