E-Commerce Stock Scraper — бот моніторингу залишків
Завдання та реалізація
Завдання
Створити надійного бота для відстеження надходження дефіцитних товарів на склади ритейлерів з обходом систем захисту сайтів.
Що реалізовано
- Миттєві алерти: автоматична перевірка залишків кожні кілька секунд та надсилання сповіщення користувачу за < 2 с після появи товару.
- Обхід блокувань: стабільна робота через захищені проксі та емуляцію дій користувача для запобігання блокуванням.
- Мультирегіональність: моніторинг наявності, цін та знижок на товарах у різних країнах та валютах.
Функціональні можливості
Обхід anti-bot систем та Cloudflare
Автоматизоване проходження JavaScript-челенджів та емуляція реального браузера через Playwright у режимі stealth.
Mutex-менеджер браузерних сесій
Асинхронний механізм взаємного виключення (Mutex), що запобігає стану гонки при паралельному прогріві та оновленні куків.
Гібридний високошвидкісний скрапінг
Отримання сесії через браузер та прямі запити до приватного JSON API магазину для економії пам'яті та миттєвого відгуку.
Мультирегіональний моніторинг (UA / EU)
Підтримка відстеження наявності та цін у різних країнах із маршрутизацією трафіку через гео-проксі (HTTP / SOCKS5).
Інтерактивне керування в Telegram
Inline-клавіатури для вибору розмірів, пагінація активних завдань та персоналізовані сповіщення з прямими посиланнями.
Збереження стану в Supabase (PostgreSQL)
Реляційна база даних для зберігання користувачів, черги SKU, історії змін статусів та логів доставки пуш-повідомлень.
Результати проєкту
час від виявлення появи товару до відправки сповіщення в Telegram
успішність проходження перевірок anti-bot систем без блокувань IP
безперебійна автономна робота у фоновому режимі в Docker-контейнері
зниження навантаження на сервер завдяки гібридному доступу через API
Етапи розробки
Дослідили механізми динамічного рендерингу, захисти від скрапінгу, структуру SKU та внутрішнє JSON API маркетплейсу.
Створили модуль ініціалізації сесій з емуляцією реального користувача, підтримкою Xvfb та автоматичним оновленням токенів.
Впровадили логіку блокувань для безпечного оновлення сесії при одночасних запитах від багатьох користувачів.
Розробили Telegram UI з inline-кнопками для вибору розмірів товару, додавання URL та керування підписками.
Зібрали оптимізований Docker-образ з headless Chromium, налаштували автоперезапуск та систему моніторингу логів.
Готові запустити проєкт або автоматизувати продажі?
Напишіть мені напряму в Telegram. Обговоримо технічну концепцію, архітектуру та орієнтовний кошторис під ваше завдання без жодних зобов'язань.