robotex/docs/Introduction.md

Robotex

Сервис позволяет отработать на странице JS и продолжить парсинг. Полезно для ботов, которым нужно авторизоваться на сайте или пройти капчу, там где требуется рендеринг JS.

Клиент присылает URL, список действий и, при необходимости, свой прокси. Сервис открывает страницу в настоящем Chrome, проходит антибот (Cloudflare Turnstile, reCAPTCHA), выполняет действия и возвращает cookies (включая cf_clearance), User-Agent и, по запросу, HTML. С этими cookies и UA клиент продолжает парсинг своим HTTP-клиентом.

Описание запроса и ответа — API.md, развёртывание — Deployment.md.