feature: UA и отпечаток задаются профилю один раз, cookies запроса заменяют профильные

- user_agent записывается в профиль при первом запросе сессии, дальше игнорируется (#87)
- переданные cookies заменяют cookies профиля (clear_cookies перед add_cookies) (#88)
- без user_agent профилю генерируется отпечаток browserforge (Linux Chrome): UA с версией
  установленного Chrome, экран и devicePixelRatio; только нативная эмуляция, без JS (#89)
- make fp-check: проверка, что отпечаток применяется и стабилен, и доля различий профилей

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
protokeyandClaude Opus 5.5 committed 2026-10-13 17:23:01 +04:00
1 parent a399f7f8cc
commit 58100fa45d
9 files changed
+215 -29

No files matched your search

+104
View File
@@ -0,0 +1,104 @@
"""
Настройки профиля сессии (рядом с профилем Chrome): User-Agent и отпечаток. Задаются один раз при
первом запросе сессии и дальше не меняются — реальный человек не меняет браузер и монитор между
визитами.
Отпечаток применяется только нативной эмуляцией Chrome (экран, devicePixelRatio), без JS-инъекций:
полная подмена через browserforge InjectFunction ломала прохождение Cloudflare Turnstile (51a801f).
UA для сгенерированного профиля — шаблон Linux Chrome с версией установленного Chrome: UA другой
версии разошёлся бы с navigator.userAgentData, который Playwright не подменяет.
"""
import json
import logging
import re
import shutil
import subprocess
from functools import cache
from pathlib import Path
from browserforge.fingerprints import FingerprintGenerator, Screen
log = logging.getLogger(__name__)
SETTINGS_FILE = "robotex_session.json"
UA_TEMPLATE = "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/{major}.0.0.0 Safari/537.36"
# окно браузера под Xvfb — 1920x1080, монитор физически не может быть меньше окна
MIN_SCREEN = (1920, 1080)
@cache
def chrome_major() -> str | None:
for name in ("google-chrome", "google-chrome-stable", "chrome"):
if path := shutil.which(name):
try:
out = subprocess.run([path, "--version"], capture_output=True, text=True, timeout=10).stdout
except (OSError, subprocess.SubprocessError):
continue
if m := re.search(r"(\d+)\.\d+\.\d+\.\d+", out):
return m.group(1)
return None
def generate_fingerprint(attempts: int = 10) -> dict:
"""Правдоподобный отпечаток десктопного Chrome на Linux из датасета browserforge."""
screen, dpr = {"width": MIN_SCREEN[0], "height": MIN_SCREEN[1]}, 1
generator = FingerprintGenerator()
for _ in range(attempts):
# strict=True: без него browserforge при отсутствии точного совпадения тихо ослабляет
# нижнюю границу экрана и может отдать экран меньше окна браузера; цена — изредка
# ValueError, тогда просто пробуем ещё раз
try:
fp = generator.generate(
browser=["chrome"], os=["linux"], device="desktop", strict=True,
screen=Screen(min_width=MIN_SCREEN[0], min_height=MIN_SCREEN[1]),
)
except ValueError:
continue
screen, dpr = {"width": fp.screen.width, "height": fp.screen.height}, fp.screen.devicePixelRatio
break
else:
log.warning("browserforge failed %d times, using default screen", attempts)
major = chrome_major()
return {
# версия — от установленного Chrome, а не из датасета (см. docstring модуля)
"user_agent": UA_TEMPLATE.format(major=major) if major else None,
"screen": screen,
"device_scale_factor": dpr,
}
def load(user_data_dir: Path) -> dict:
try:
return json.loads((user_data_dir / SETTINGS_FILE).read_text())
except (OSError, json.JSONDecodeError):
return {}
def load_or_create(user_data_dir: Path, user_agent: str | None) -> dict:
"""Настройки профиля. При первом запросе сессии: UA клиента или сгенерированный отпечаток.
У существующего профиля всё берётся из сохранённого, переданный user_agent игнорируется."""
settings = load(user_data_dir)
if settings:
if user_agent and user_agent != settings.get("user_agent"):
log.info("profile already has user_agent, passed one is ignored")
return settings
if user_agent:
settings = {"user_agent": user_agent}
else:
settings = {"fingerprint": generate_fingerprint()}
settings["user_agent"] = settings["fingerprint"].pop("user_agent")
(user_data_dir / SETTINGS_FILE).write_text(json.dumps(settings, ensure_ascii=False))
return settings
def browser_kwargs(settings: dict) -> dict:
"""kwargs AsyncStealthySession под настройки профиля."""
kwargs = {"useragent": settings.get("user_agent")}
if fp := settings.get("fingerprint"):
kwargs["additional_args"] = {
"screen": fp["screen"],
"device_scale_factor": fp["device_scale_factor"],
}
return kwargs