Scrapy · PROXY-SETUP

Scrapy mit Proxy einrichten

Python crawling framework with its own downloader middleware stack. Richte es mit der Konfiguration unten auf den eveses-Residential-Pool aus — die Geo steckt im Benutzernamen, sonst muss für einen Länderwechsel nichts geändert werden.

proxy.eveses.com:12321 · SOCKS5 auf 32325 · 199 Länder · ab $7.35/GB

Proxys holen →Alle Integrationen
Achtung

Scrapy will not pick the proxy up from `http_proxy` for HTTPS targets. It has to go through `HttpProxyMiddleware`, and the credentials must be set on the request rather than in the URL — a proxy URL with a password in it is silently stripped from `meta["proxy"]`.

Konfiguration

# settings.py
DOWNLOADER_MIDDLEWARES = {
    "scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware": 110,
    "myproject.middlewares.EvesesProxyMiddleware": 100,   # must run BEFORE 110
}

# middlewares.py
import base64

class EvesesProxyMiddleware:
    USER = "eveses_user_country-us"     # add geo tokens to the username
    PASS = "YOUR_PROXY_PASSWORD"

    def process_request(self, request, spider):
        request.meta["proxy"] = "http://proxy.eveses.com:12321"
        creds = base64.b64encode(f"{self.USER}:{self.PASS}".encode()).decode()
        request.headers["Proxy-Authorization"] = f"Basic {creds}"

Hinweise für Scrapy

Give the middleware a lower number than HttpProxyMiddleware (110) so it sets `meta["proxy"]` first.

Rotate per request by appending a fresh `_session-…` token to the username inside `process_request`.

Leave `RETRY_TIMES` at its default; a blocked exit IP retries onto a different one automatically.

Land wechseln, ohne Scrapy anzufassen

Deutschlandeveses_user_country-de
Sticky, 30 Min.eveses_user_country-de_session-ab12cd34_lifetime-30m

Geo und Session leben im Benutzernamen, nicht im Host oder Port. Jede Konfiguration auf dieser Seite bleibt beim Länderwechsel unverändert — du bearbeitest einen einzigen String. 199 Länder sind adressierbar, in den meisten davon zusätzlich Stadt- und Regions-Token.

FAQ

Wie stelle ich in Scrapy einen Proxy ein?›
Richte es auf proxy.eveses.com, Port 12321 für HTTP oder 32325 für SOCKS5, und authentifiziere dich mit deinem eveses-Proxy-Benutzernamen und -Passwort. Die genaue Syntax steht im Snippet oben. Scrapy will not pick the proxy up from `http_proxy` for HTTPS targets. It has to go through `HttpProxyMiddleware`, and the credentials must be set on the request rather than in the URL — a proxy URL with a password in it is silently stripped from `meta["proxy"]`.
Wie wähle ich das Land, aus dem Scrapy herauskommt?›
Häng einen Geo-Token an den BENUTZERNAMEN, statt den Host zu ändern: eveses_user_country-de landet in Deutschland, eveses_user_country-us in den USA. So sind 199 Länder adressierbar, Stadt- und Regions-Token grenzen weiter ein. An deiner Scrapy-Konfiguration ändert sich sonst nichts.
Wie behalte ich in Scrapy dieselbe IP über mehrere Requests?›
Füge einen Session-Token hinzu — eveses_user_country-us_session-ab12cd34_lifetime-30m — und jeder Request mit diesem Benutzernamen verlässt uns über dieselbe Adresse, bis die Lifetime abläuft. Ohne Token rotiert jeder Request auf eine frische IP.
Was kostet das?›
Residential-Traffic wird pro Gigabyte aus deinem eveses-Guthaben abgerechnet: $7.35/GB bei 1 GB, fallend auf $2.57/GB im Volumen. Es gibt keine Gebühr pro Tool, und dieselben Zugangsdaten funktionieren überall gleichzeitig.
Eigenes curl einfügen → in python rausholen →

Weitere Integrationen

SeleniumPuppeteerPlaywrightPython requestsHTTPXaiohttpAxiosnode-fetch / undiciGuzzlecURL

Scrapy über Residential-IPs laufen lassen

$7.35/GB bei 1 GB, $2.57/GB im Volumen — dieselben Zugangsdaten in jedem Tool.

Proxys holen →