chore: updated
This commit is contained in:
1 parent
50cedc4b8b
commit
02ff33128c
7 files changed
+16
-14
No files matched your search
+1
-1
@@ -1,3 +1,3 @@
|
|||||||
[submodule "themes/blowfish"]
|
[submodule "themes/blowfish"]
|
||||||
path = themes/blowfish
|
path = themes/blowfish
|
||||||
url = https://git.sokolab.xyz/sokol/blowfish.git
|
url = https://git.sokolab.xyz/Sokolab/blowfish.git
|
||||||
@@ -1,5 +1,5 @@
|
|||||||
languageCode = "ru"
|
locale = "ru"
|
||||||
languageName = "Русский"
|
label = "Русский"
|
||||||
weight = 1
|
weight = 1
|
||||||
title = "Sokolab"
|
title = "Sokolab"
|
||||||
|
|
||||||
|
|||||||
+1
-1
@@ -11,6 +11,6 @@ card:
|
|||||||
contacts:
|
contacts:
|
||||||
- { label: "Telegram", url: "https://t.me/xs0k0lx", icon: "telegram" }
|
- { label: "Telegram", url: "https://t.me/xs0k0lx", icon: "telegram" }
|
||||||
- { label: "Email", url: "mailto:xalex.sokolov@yahoo.com", icon: "email" }
|
- { label: "Email", url: "mailto:xalex.sokolov@yahoo.com", icon: "email" }
|
||||||
- { label: "Git", url: "https://git.sokolab.xyz/HumanAutomation", icon: "gitea" }
|
- { label: "Git", url: "https://git.sokolab.xyz/s0k0l", icon: "gitea" }
|
||||||
more: "/about/"
|
more: "/about/"
|
||||||
---
|
---
|
||||||
@@ -37,7 +37,7 @@ date: 2026-10-08T19:18:00+04:00
|
|||||||
Сейчас все живое находится тут:
|
Сейчас все живое находится тут:
|
||||||
|
|
||||||
- [Блог](/blog/) - статьи про разработку, сервера и автоматизацию
|
- [Блог](/blog/) - статьи про разработку, сервера и автоматизацию
|
||||||
- [git.sokolab.xyz](https://git.sokolab.xyz/sokol) - мой код и примеры
|
- [git.sokolab.xyz](https://git.sokolab.xyz/s0k0l) - мой код и примеры
|
||||||
|
|
||||||
Раньше я был и на других площадках. Сейчас туда почти не захожу, но оставляю ссылки, там видно с чего я начинал.
|
Раньше я был и на других площадках. Сейчас туда почти не захожу, но оставляю ссылки, там видно с чего я начинал.
|
||||||
|
|
||||||
|
|||||||
@@ -2,17 +2,17 @@
|
|||||||
title: "Запустил свой сайт"
|
title: "Запустил свой сайт"
|
||||||
date: 2026-10-05T21:14:48+04:00
|
date: 2026-10-05T21:14:48+04:00
|
||||||
draft: false
|
draft: false
|
||||||
tags: ["сервер", "hugo"]
|
tags: ["server", "hugo"]
|
||||||
summary: "Как я поднял сайт и Gitea на своём сервере"
|
summary: "Как я поднял сайт и Gitea на своём сервере"
|
||||||
---
|
---
|
||||||
|
|
||||||
Сегодня запустил [sokolab.xyz](https://git.sokolab.xyz/) - лендинг и блог. Всё крутится на моём сервере в Docker. Тут я буду публиковать отчеты о своей работе, что-то полезное о компьютерах и интернет технологиях, может какие-то обзоры чего-то и курсы лекций.
|
Сегодня запустил [sokolab.xyz](https://sokolab.xyz/) - лендинг и блог. Всё крутится на моём сервере в Docker. Тут я буду публиковать отчеты о своей работе, что-то полезное о компьютерах и интернет технологиях, может какие-то обзоры чего-то и курсы лекций.
|
||||||
|
|
||||||
На главной странице будет лендинг с саммари про меня и моими статусами. Страница с блогом где будут все публикации в хронологическом порядке. А если появится какой-то курс или моя работа приведет к появлению како-го то решения, то для них будет выделен поддомен где они будут жить своей жизнью.
|
На главной странице будет лендинг с саммари про меня и моими статусами. Страница с блогом где будут все публикации в хронологическом порядке. А если появится какой-то курс или моя работа приведет к появлению какого-то решения, то для них будет выделен поддомен где они будут жить своей жизнью.
|
||||||
|
|
||||||
## Как это устроено
|
## Как это устроено
|
||||||
|
|
||||||
Сайт собран на Hugo, исходники лежат в моей [Gitea](https://git.sokolab.xyz/s0k0l/sitel).
|
Сайт собран на Hugo, исходники лежат в моей [Gitea](https://git.sokolab.xyz/s0k0l).
|
||||||
|
|
||||||

|

|
||||||
|
|
||||||
|
|||||||
@@ -4,7 +4,7 @@ date: 2026-10-08T19:22:00+04:00
|
|||||||
draft: false
|
draft: false
|
||||||
tags:
|
tags:
|
||||||
- hugo
|
- hugo
|
||||||
- сервер
|
- server
|
||||||
summary: Как поднять свой блог
|
summary: Как поднять свой блог
|
||||||
---
|
---
|
||||||
|
|
||||||
|
|||||||
+6
-4
@@ -1,5 +1,5 @@
|
|||||||
---
|
---
|
||||||
title: Robotex API для Автоматизации Бразуера
|
title: Robotex API для Автоматизации Браузера
|
||||||
date: 2026-10-09T01:59:39+04:00
|
date: 2026-10-09T01:59:39+04:00
|
||||||
draft: false
|
draft: false
|
||||||
tags:
|
tags:
|
||||||
@@ -7,7 +7,9 @@ tags:
|
|||||||
- anti-bot
|
- anti-bot
|
||||||
- api
|
- api
|
||||||
- saas
|
- saas
|
||||||
summary: Как боту спарсить сайт за анти-бот защитой или со слжным JS
|
summary: Как боту спарсить сайт за анти-бот защитой или со сложным JS
|
||||||
|
aliases:
|
||||||
|
- /blog/robotex-brouser-automation-api/
|
||||||
---
|
---
|
||||||
|
|
||||||
Каждый бот под сайт рано или поздно упирается в одну из трех проблем:
|
Каждый бот под сайт рано или поздно упирается в одну из трех проблем:
|
||||||
@@ -18,7 +20,7 @@ summary: Как боту спарсить сайт за анти-бот защи
|
|||||||
|
|
||||||
Паук, который ходит по сайту сырыми http запросами, тут бессилен. Решение одно - запустить браузер и поручить ему пройти сложный момент. Но и браузер нужно уметь прятать. Под капотом он шлет те же http запросы, что и паук на Python, только делает это из контекста работающего JS. А этот контекст полон маркеров, по которым сайт понимает, что браузером кто-то управляет.
|
Паук, который ходит по сайту сырыми http запросами, тут бессилен. Решение одно - запустить браузер и поручить ему пройти сложный момент. Но и браузер нужно уметь прятать. Под капотом он шлет те же http запросы, что и паук на Python, только делает это из контекста работающего JS. А этот контекст полон маркеров, по которым сайт понимает, что браузером кто-то управляет.
|
||||||
|
|
||||||
Под эту задачу я написал микросервис [Robotex](https://git.sokolab.xyz/HumanAutomation/robotex). Ниже расскажу, как он устроен и зачем он нужен, если уже есть Scrapling и FlareSolverr.
|
Под эту задачу я написал микросервис [Robotex](https://git.sokolab.xyz/s0k0l/robotex). Ниже расскажу, как он устроен и зачем он нужен, если уже есть Scrapling и FlareSolverr.
|
||||||
|
|
||||||
## Чем пользовались раньше и сейчас
|
## Чем пользовались раньше и сейчас
|
||||||
|
|
||||||
@@ -145,6 +147,6 @@ X-API-Key: <key>
|
|||||||
|
|
||||||
## Код
|
## Код
|
||||||
|
|
||||||
Исходники: [git.sokolab.xyz/HumanAutomation/robotex](https://git.sokolab.xyz/HumanAutomation/robotex). Там же в `docs` лежит ТЗ на модуль обхода анти-бот защиты, если интересно, как он устроен изнутри.
|
Исходники: [git.sokolab.xyz/s0k0l/robotex](https://git.sokolab.xyz/s0k0l/robotex). Там же в `docs` лежит ТЗ на модуль обхода анти-бот защиты, если интересно, как он устроен изнутри.
|
||||||
|
|
||||||
Используйте только на сайтах, где у вас есть на это право.
|
Используйте только на сайтах, где у вас есть на это право.
|
||||||
Reference in new issue
Block a user