Scrapy · НАЛАШТУВАННЯ ПРОКСІ

Налаштування проксі в Scrapy

Python crawling framework with its own downloader middleware stack. Спрямуйте його на резидентний пул Eveses конфігурацією нижче — гео живе в імені користувача, тож зміна країни не потребує міняти щось іще.

proxy.eveses.com:12321 · SOCKS5 на 32325 · 199 країн · від $7.35/ГБ

Отримати проксі →Усі інтеграції
Обережно

Scrapy will not pick the proxy up from `http_proxy` for HTTPS targets. It has to go through `HttpProxyMiddleware`, and the credentials must be set on the request rather than in the URL — a proxy URL with a password in it is silently stripped from `meta["proxy"]`.

Конфігурація

# settings.py
DOWNLOADER_MIDDLEWARES = {
    "scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware": 110,
    "myproject.middlewares.EvesesProxyMiddleware": 100,   # must run BEFORE 110
}

# middlewares.py
import base64

class EvesesProxyMiddleware:
    USER = "eveses_user_country-us"     # add geo tokens to the username
    PASS = "YOUR_PROXY_PASSWORD"

    def process_request(self, request, spider):
        request.meta["proxy"] = "http://proxy.eveses.com:12321"
        creds = base64.b64encode(f"{self.USER}:{self.PASS}".encode()).decode()
        request.headers["Proxy-Authorization"] = f"Basic {creds}"

Зауваження щодо Scrapy

Give the middleware a lower number than HttpProxyMiddleware (110) so it sets `meta["proxy"]` first.

Rotate per request by appending a fresh `_session-…` token to the username inside `process_request`.

Leave `RETRY_TIMES` at its default; a blocked exit IP retries onto a different one automatically.

Змінити країну, не чіпаючи Scrapy

Німеччинаeveses_user_country-de
Липка, 30 хвeveses_user_country-de_session-ab12cd34_lifetime-30m

Гео і сесія живуть в імені користувача, а не в хості чи порті. Уся конфігурація на цій сторінці лишається тією самою при зміні країни — ви правите один рядок. Адресуються 199 країн, у більшості з них ще й токени міста та регіону.

Часті питання

Як налаштувати проксі в Scrapy?›
Спрямуйте його на proxy.eveses.com, порт 12321 для HTTP або 32325 для SOCKS5, і авторизуйтеся логіном і паролем проксі Eveses. Точний синтаксис — у сніпеті вище. Scrapy will not pick the proxy up from `http_proxy` for HTTPS targets. It has to go through `HttpProxyMiddleware`, and the credentials must be set on the request rather than in the URL — a proxy URL with a password in it is silently stripped from `meta["proxy"]`.
Як обрати країну виходу для Scrapy?›
Додайте гео-токен у ЛОГІН, а не міняйте хост: eveses_user_country-de виходить у Німеччині, eveses_user_country-us — у США. Так адресуються 199 країн, а токени міста й регіону звужують далі. Більше в конфігурації Scrapy нічого не змінюється.
Як зберегти один IP між запитами в Scrapy?›
Додайте токен сесії — eveses_user_country-us_session-ab12cd34_lifetime-30m — і кожен запит із цим логіном виходить з однієї адреси, доки не спливе час життя. Приберіть токен — кожен запит іде з нового IP.
Скільки це коштує?›
Резидентний трафік тарифікується за гігабайт із гаманця Eveses: $7.35/ГБ на 1 ГБ і до $2.57/ГБ на обсязі. Плати за інструмент немає, ті самі доступи працюють усюди одночасно.
Вставте свій curl → отримайте його в python →

Інші інтеграції

SeleniumPuppeteerPlaywrightPython requestsHTTPXaiohttpAxiosnode-fetch / undiciGuzzlecURL

Запустити Scrapy через резидентні IP

$7.35/ГБ на 1 ГБ, $2.57/ГБ на обсязі — ті самі доступи в усіх інструментах.

Отримати проксі →