feature: UA и отпечаток задаются профилю один раз, cookies запроса заменяют профильные

- user_agent записывается в профиль при первом запросе сессии, дальше игнорируется (#87)
- переданные cookies заменяют cookies профиля (clear_cookies перед add_cookies) (#88)
- без user_agent профилю генерируется отпечаток browserforge (Linux Chrome): UA с версией
  установленного Chrome, экран и devicePixelRatio; только нативная эмуляция, без JS (#89)
- make fp-check: проверка, что отпечаток применяется и стабилен, и доля различий профилей

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
protokeyandClaude Opus 5.5 committed 2026-10-13 17:23:01 +04:00
1 parent a399f7f8cc
commit 58100fa45d
9 files changed
+215 -29

No files matched your search

+7 -22
View File
@@ -20,7 +20,7 @@ logging.basicConfig(
format="%(asctime)s %(levelname)s %(name)s: %(message)s",
)
from api import actions # noqa: E402 — модули ниже логируют при импорте, конфиг логов должен быть раньше
from api import actions, profile # noqa: E402 — модули ниже логируют при импорте, конфиг логов должен быть раньше
from api.geoip import resolve_geo # noqa: E402
from api.schemas import SolveRequest, SolveResponse # noqa: E402
from engine import AsyncStealthySession # noqa: E402
@@ -33,7 +33,6 @@ RETRY_AFTER = os.getenv("NO_SLOTS_RETRY_AFTER", "5")
_slots = asyncio.Semaphore(BROWSER_SLOTS)
USER_DATA_ROOT = (Path(__file__).parent / "../extra/user_data_dir").resolve()
SESSION_SETTINGS = "robotex_session.json"
def parse_proxy(proxy_url: str) -> ProxySettings:
@@ -95,17 +94,6 @@ def session_dir(session_id: str | None) -> tuple[str, Path]:
return session_id, user_data_dir
def load_session_settings(user_data_dir: Path) -> dict:
try:
return json.loads((user_data_dir / SESSION_SETTINGS).read_text())
except (OSError, json.JSONDecodeError):
return {}
def save_session_settings(user_data_dir: Path, settings: dict) -> None:
(user_data_dir / SESSION_SETTINGS).write_text(json.dumps(settings, ensure_ascii=False))
def make_page_action(payload: SolveRequest):
"""Замыкание для AsyncStealthySession.fetch(page_action=...): выполняет очередь действий
(включая прохождение капчи/антибота через api.actions.execute) и достаёт из уже
@@ -179,13 +167,8 @@ async def solve(
try:
user_data_dir.mkdir(parents=True, exist_ok=True)
# user_agent сессии сохраняется рядом с профилем: при повторном запросе с тем же
# session_id без user_agent отпечаток не должен меняться
settings = load_session_settings(user_data_dir)
if payload.user_agent:
settings["user_agent"] = payload.user_agent
save_session_settings(user_data_dir, settings)
user_agent = settings.get("user_agent")
# UA и отпечаток задаются профилю один раз (см. api/profile.py)
profile_kwargs = profile.browser_kwargs(profile.load_or_create(user_data_dir, payload.user_agent))
proxy = parse_proxy(payload.proxy) if payload.proxy else None
@@ -201,17 +184,19 @@ async def solve(
proxy=proxy,
user_data_dir=str(user_data_dir),
real_chrome=True,
useragent=user_agent,
locale=locale,
timezone_id=geo.get("timezone_id") if geo else None,
cookies=payload.cookies,
# переданные cookies заменяют cookies профиля, а не дополняют их
clear_cookies=payload.cookies is not None,
disable_resources=payload.disable_resources,
blocked_domains=blocked_domains,
timeout=nav_timeout_ms,
retries=max(1, payload.retries),
retry_delay=payload.retry_delay,
wait=payload.wait,
google_search=payload.google_search
google_search=payload.google_search,
**profile_kwargs,
)
async with AsyncStealthySession(**kwargs) as engine: