protokeyandClaude Opus 5.5
7b511d5d38
- Сервис api (FastAPI, без Chrome): POST /v2/tasks, GET /v2/tasks/{id} (доступ по cookie
сессии), DELETE /v2/sessions/current; /v1/solve — прежний контракт поверх очереди.
- Сервис worker (dramatiq + RabbitMQ): слоты браузера, окна сессий между задачами
(browser_idle_timeout 0–120 мин, простой — TTL ключа в Redis), heartbeat.
- Маршрутизация задач сессии в персональную очередь воркера с открытым окном.
- Redis: задачи, результаты (RESULT_TTL_HOURS), окна, воркеры. Прокси и ключ 2captcha
в Redis не сохраняются.
- Движок: AsyncStealthySession.run() — действия на текущей странице без навигации.
- Два образа (robotex-api, robotex-worker), compose с rabbitmq и redis,
make up/down/logs/smoke, релиз собирает все образы.
- Тесты: api + worker в одном процессе (fakeredis), настоящий воркер dramatiq на
StubBroker, браузерные тесты на новой схеме, smoke для запущенного стенда.
- Документация: README, API (v2), Deployment, Usage.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
40 lines
1.8 KiB
Docker
40 lines
1.8 KiB
Docker
# Сервис worker (#78): выполняет задачи из очереди в Google Chrome под Xvfb.
|
|
FROM python:3.12-slim-bookworm
|
|
|
|
ENV PYTHONDONTWRITEBYTECODE=1 \
|
|
PYTHONUNBUFFERED=1 \
|
|
PIP_NO_CACHE_DIR=1 \
|
|
PIP_DISABLE_PIP_VERSION_CHECK=1
|
|
|
|
# Xvfb — браузер запускается в headful-режиме (headless=False), нужен виртуальный дисплей
|
|
RUN apt-get update \
|
|
&& apt-get install -y --no-install-recommends tini xvfb xauth fonts-liberation fonts-noto-color-emoji ca-certificates \
|
|
&& rm -rf /var/lib/apt/lists/*
|
|
|
|
WORKDIR /app
|
|
|
|
COPY requirements.txt .
|
|
RUN pip install -r requirements.txt
|
|
|
|
# real_chrome=True → channel "chrome": ставим Google Chrome stable вместе с системными зависимостями
|
|
RUN patchright install --with-deps chrome \
|
|
&& rm -rf /var/lib/apt/lists/*
|
|
|
|
RUN useradd --create-home --uid 1000 app \
|
|
&& mkdir -p /app/extra \
|
|
&& chown -R app:app /app
|
|
|
|
COPY --chown=app:app src/ ./src/
|
|
|
|
USER app
|
|
WORKDIR /app/src
|
|
|
|
# профили браузера (extra/user_data_dir) и geoip-кэш — в volume
|
|
VOLUME ["/app/extra"]
|
|
|
|
# tini как PID 1: пробрасывает сигналы и подбирает осиротевшие процессы Chrome/Xvfb (иначе — зомби)
|
|
ENTRYPOINT ["/usr/bin/tini", "-g", "--"]
|
|
# один процесс: открытые окна браузера живут в его памяти; потоков — с запасом над слотами, чтобы
|
|
# задачи в уже открытые окна не ждали, пока потоки заняты задачами без свободного слота
|
|
CMD ["sh", "-c", "exec xvfb-run -a --server-args='-screen 0 1920x1080x24' dramatiq worker.actors --processes 1 --threads ${WORKER_THREADS:-$((${BROWSER_SLOTS:-4} * 2))}"]
|