Scrapy · НАСТРОЙКА ПРОКСИ

Настройка прокси в Scrapy

Python crawling framework with its own downloader middleware stack. Направьте его на резидентный пул Eveses с конфигурацией ниже — гео живёт в имени пользователя, так что смена страны не требует менять что-то ещё.

proxy.eveses.com:12321 · SOCKS5 на 32325 · 199 стран · от $7.35/ГБ

Получить прокси →Все интеграции
Осторожно

Scrapy will not pick the proxy up from `http_proxy` for HTTPS targets. It has to go through `HttpProxyMiddleware`, and the credentials must be set on the request rather than in the URL — a proxy URL with a password in it is silently stripped from `meta["proxy"]`.

Конфигурация

# settings.py
DOWNLOADER_MIDDLEWARES = {
    "scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware": 110,
    "myproject.middlewares.EvesesProxyMiddleware": 100,   # must run BEFORE 110
}

# middlewares.py
import base64

class EvesesProxyMiddleware:
    USER = "eveses_user_country-us"     # add geo tokens to the username
    PASS = "YOUR_PROXY_PASSWORD"

    def process_request(self, request, spider):
        request.meta["proxy"] = "http://proxy.eveses.com:12321"
        creds = base64.b64encode(f"{self.USER}:{self.PASS}".encode()).decode()
        request.headers["Proxy-Authorization"] = f"Basic {creds}"

Замечания по Scrapy

Give the middleware a lower number than HttpProxyMiddleware (110) so it sets `meta["proxy"]` first.

Rotate per request by appending a fresh `_session-…` token to the username inside `process_request`.

Leave `RETRY_TIMES` at its default; a blocked exit IP retries onto a different one automatically.

Сменить страну, не трогая Scrapy

Германияeveses_user_country-de
Липкая, 30 минeveses_user_country-de_session-ab12cd34_lifetime-30m

Гео и сессия живут в имени пользователя, а не в хосте или порте. Вся конфигурация на этой странице остаётся прежней при смене страны — вы правите одну строку. Адресуются 199 стран, в большинстве из них ещё и токены города и региона.

Частые вопросы

Как настроить прокси в Scrapy?›
Направьте его на proxy.eveses.com, порт 12321 для HTTP или 32325 для SOCKS5, и авторизуйтесь логином и паролем прокси Eveses. Точный синтаксис — в сниппете выше. Scrapy will not pick the proxy up from `http_proxy` for HTTPS targets. It has to go through `HttpProxyMiddleware`, and the credentials must be set on the request rather than in the URL — a proxy URL with a password in it is silently stripped from `meta["proxy"]`.
Как выбрать страну выхода для Scrapy?›
Добавьте гео-токен в ЛОГИН, а не меняйте хост: eveses_user_country-de выходит в Германии, eveses_user_country-us — в США. Так адресуются 199 стран, а токены города и региона сужают дальше. Больше в конфигурации Scrapy ничего не меняется.
Как сохранить один IP между запросами в Scrapy?›
Добавьте токен сессии — eveses_user_country-us_session-ab12cd34_lifetime-30m — и каждый запрос с этим логином выходит с одного адреса, пока не истечёт время жизни. Уберите токен — каждый запрос уходит с нового IP.
Сколько это стоит?›
Резидентный трафик тарифицируется за гигабайт из кошелька Eveses: $7.35/ГБ на 1 ГБ и до $2.57/ГБ на объёме. Платы за инструмент нет, одни и те же доступы работают везде одновременно.
Вставьте свой curl → получите его на python →

Другие интеграции

SeleniumPuppeteerPlaywrightPython requestsHTTPXaiohttpAxiosnode-fetch / undiciGuzzlecURL

Запустить Scrapy через резидентные IP

$7.35/ГБ на 1 ГБ, $2.57/ГБ на объёме — одни и те же доступы во всех инструментах.

Получить прокси →