Лучшие сервисы для скрапинга данных в России и мире

Если нужен короткий ответ: для быстрого сбора без кода подходят Browse AI и Octoparse, для облачных сценариев с готовыми шаблонами и своим кодом — Apify, для подключения по API — ScrapingBee, для крупных программ сбора с готовыми отраслевыми схемами — Bright Data. Diffbot удобен, когда важен готовый структурированный объект, Firecrawl — когда данные идут в поиск, RAG или ИИ-приложение. Scrapy остается сильным вариантом для команды, которая готова владеть кодом и инфраструктурой. В русскоязычном контуре стоит сравнить A-Parser и Datacol, а для узких SEO-задач или готовых e-commerce-выгрузок — Click.ru и XMLDataFeed.

Универсального победителя нет: участники продают разные вещи. Один выдает HTML за API-запрос, второй запускает браузер, третий берет плату за успешную запись, четвертый продает готовую базу, а бесплатный open-source-фреймворк оплачивается временем инженеров. Функции и публичные цены в статье — на сентябрь 2026 года. Отдельное сравнение сервисов для парсинга сайтов поможет сопоставить эти классы решений.

Сначала выберите класс решения

Словом «парсер» часто называют сразу четыре разных продукта. Из-за этого сравнение начинается с неверной цены.

• Скрапер загружает страницы и извлекает поля. Он может работать по правилам, CSS/XPath-селекторам или с помощью модели машинного обучения.
• Прокси-сеть передает запросы через другие IP-адреса и географии. Она не понимает карточку товара и не создает чистую таблицу сама по себе.
• Управляемый набор данных, или managed dataset, — уже собранные и часто нормализованные записи. Покупатель оценивает происхождение, лицензию, свежесть и полноту данных, а не настройки crawler.
• Отраслевой парсер знает один источник или тип задачи: например, Wordstat, метатеги, товары маркетплейса. Он быстрее общего конструктора, пока задача совпадает с готовой схемой.

Есть и пятый вариант — официальный API или выгрузка владельца источника. Его стоит проверять первым. Версионируемый API обычно стабильнее селекторов, яснее по договору и бережнее к инфраструктуре площадки. Скрапинг оправдан, если нужных публичных данных в API нет, их использование разрешено, а команда готова контролировать качество и изменения источника.

Сравнение сервисов для скрапинга

Цены разных строк нельзя делить на одно и то же число страниц. Credits, compute units, гигабайты трафика, браузерные минуты и готовые записи измеряют разную работу. Сначала моделируйте полный маршрут: список → пагинация → карточка → вложенный файл → повтор при ошибке → нормализация.

Решение	Класс и кому подходит	Сайты, JavaScript, защита и login	Расписание, API и выгрузка	Масштаб и модель цены	Хранение, команда и РФ
Browse AI	No-code recorder и мониторинг для аналитика или операционной команды	Облачный браузер; поставщик заявляет residential proxies и CAPTCHA resolver. Учетные данные можно хранить в зашифрованном виде, но работать следует только со своими или разрешенными аккаунтами	Monitoring, REST API, webhooks, Google Sheets, Airtable, Zapier, S3; CSV и JSON	Есть Free. Personal — от $19/мес., Professional — от $69/мес. при оплате за год. Credit обычно покрывает до 10 строк или screenshot; сложный сайт может стоить 2–10 credits за запуск	90 дней хранения на self-service; AWS в США, SOC 2 Type II. До 3–10 пользователей на обычных планах. Оплата картой РФ не заявлена
Octoparse	Визуальный desktop/cloud-конструктор для аналитики, e-commerce и агентств	Выполняет браузерные сценарии на динамических страницах. В платных планах есть IP rotation, residential proxies и автоматическая обработка CAPTCHA. Login — только при наличии права доступа	Cloud schedule, Data Export API или Advanced API, auto-export; Excel, CSV, JSON, HTML, XML, БД, Sheets, Drive, Dropbox, S3; есть пагинация и загрузка файлов	Free: 10 tasks и до 50 000 строк экспорта в месяц. Standard — от $69/мес. при годовой оплате, Professional — $249/мес.; до 6 и 20 cloud processes в основной таблице тарифов	Cloud retention — 30, 60 или 90 дней по плану, доступен DPA. Регион хранения нужно уточнять. Публичная цена в USD, платеж из РФ не проверен
Apify	Облачная платформа Actors для разработчиков, интеграторов и команд, которым нужны готовые и собственные scrapers	Возможности зависят от Actor: от HTTP-crawler до полноценного браузера. Proxy и Unblocker тарифицируются отдельно. Сессии и login зависят от конкретного Actor и разрешения источника	Tasks, API, schedules, webhooks, datasets, key-value stores и request queues	Free включает $5 platform usage. Starter — $19, Scale — $199, Business — $999 в месяц плюс usage. 1 CU равен 1 ГБ RAM в час; опубликованные лимиты — 5, 32, 128 и 256 одновременных runs	Retention зависит от плана; на Free 10 последних runs сохраняются до четырех месяцев. Поддержка растет от community до account manager. USD, российский checkout не проверен
ScrapingBee	Scraping API для разработчика, которому не нужны собственные браузерный кластер и proxy rotation	Отдает обычный или отрендеренный результат, поддерживает cookies, headers, geotargeting и сценарии в браузере. Премиальные прокси расходуют бюджет быстрее	HTTP API, HTML, screenshots, CSS/XPath rules и AI extraction. Встроенных business-schedule, webhook-хранилища и BI-выгрузки нет — их строит клиент	Hobby — $19 за 75 000 credits и 25 concurrent requests; Freelance — $49 за 250 000 и 50; Startup — $99 за 1 млн и 100. Сложные функции меняют расход credits	Есть GDPR/DPA и team-функции на старших планах. Общий срок хранения результатов HTML API на тарифной странице не указан. Платеж картой РФ не заявлен
Bright Data	Платформа для крупных потоков: maintained scrapers, Browser API, proxy networks и готовые datasets	Это разные модули одного поставщика. Web Scraper API возвращает готовые поля, Browser API выполняет JS, proxy передает трафик. Политика запрещает неразрешенный сбор данных за login	Sync/async API, Scraper Studio, recurring schedules, webhook, S3, GCS, Azure Blob, SFTP/FTP, email; JSON, CSV и файлы	Web Scraper API стартует от $1 за 1000 успешных записей на standard domains и $2,50 на premium. Есть 5000 бесплатных credits в месяц. Опубликованы до 5000 sync-запросов одновременно и до 100 async jobs	Batch-результат хранится 16 дней. Есть Trust Center, DPA и enterprise support/SLA. Регион и условия оплаты из РФ согласовываются до пилота
Diffbot	Автоматическое структурирование статей, товаров, обсуждений и других типовых объектов	Сервис рендерит и классифицирует страницу, затем возвращает JSON. Использование proxy удваивает базовую цену страницы. No-code login workflow не является его основной задачей	Extract API, Crawl, Bulk, DQL и Knowledge Graph; crawl начинает с seed URL, а коллекцию можно скачать или запросить	Free — 10 000 credits и 5 запросов в минуту. Startup — $299 за 250 000 credits и 5 запросов/с. Plus — $899 за 1 млн, 25 запросов/с. и 25 active crawls. Страница стоит 1 credit, с proxy — 2	Неактивные crawls удаляются через 18 дней на Startup и 32 дня на Plus. На Plus три места; dedicated support — Enterprise. Платеж из РФ не заявлен
Firecrawl	API для Markdown/JSON, web crawl и данных для поиска, RAG и ИИ; есть open-source self-host	Cloud обрабатывает JavaScript; crawl учитывает robots.txt по умолчанию. Базовый self-host включает fetch и Playwright, но advanced anti-bot, screenshots и actions требуют дополнительных компонентов	Scrape, crawl, map, search, JSON schema, batch, WebSocket и webhook; результат crawl job доступен через API 24 часа	База — 1 credit за страницу; JSON добавляет 4, PDF — 1 за страницу, Zero Data Retention — 1; Interact — 2 за браузерную минуту. Free — 1000 credits, Standard — $83 за 100 000 и 25 concurrent browsers	SOC 2 Type II, есть платный ZDR. Self-host дает контроль размещения, но переносит безопасность, обновления и SLA на владельца. Cloud в USD, оплата из РФ не проверена
Scrapy	Open-source Python-framework для команды, которая владеет crawler и data pipeline	Быстро обрабатывает HTML/XML; JavaScript требует внешней браузерной интеграции. Proxy, cookies, auth, rate limits и мониторинг настраивает команда; CAPTCHA solver не встроен	Асинхронные spiders, middleware и pipelines; sitemap/feed spiders, пагинация, медиа; JSON, CSV, XML, local, FTP, S3 и БД. Cron, UI и hosted API не входят	Лицензия бесплатна. TCO состоит из разработки, hosting, browser workers, proxies, storage, observability и on-call. Concurrency задается в проекте	Размещение и retention контролирует владелец. Vendor SLA и готовых team roles нет. Можно развернуть в российском контуре
A-Parser	Self-hosted parser с 110+ готовыми модулями и возможностью писать свои на JavaScript/Node.js	Есть Headless Chrome, HTTP/SOCKS proxies и интеграции распознавания CAPTCHA. Эти функции не дают права нарушать правила источника	Presets, очередь, расписание, JSON, SQL и CSV; внешнее управление по API входит в Enterprise	Пожизненные лицензии: Lite $179, Pro $299, Enterprise $479. Обновления — $49 за 3 месяца, $149 за год или $399 бессрочно. «До 3000 потоков» — предел из описания, не обещание на любом сайте	Windows, Linux, macOS и Docker; данные можно держать в своем контуре, есть русская поддержка. Цена в USD, способ оплаты из РФ проверяется перед покупкой
Datacol	Русскоязычный визуальный desktop parser с 80+ настройками для магазинов, объявлений, SEO и CMS	Поставщик заявляет работу с динамическим контентом и прокси. Единой гарантии для защищенных сайтов нет; авторизованный сценарий надо отдельно согласовать и тестировать	Обходит пагинацию и фильтры, собирает изображения; экспортирует Excel, CSV, XML, JSON, в CMS и БД. Общий hosted API, webhook и scheduler на основной странице не заявлены	Demo; $15 за неделю, $30 за месяц, $72 за 3 месяца, $108 за 6 месяцев. В платной версии объем данных не ограничен, но производительность зависит от машины и источника	Файлы остаются в локальном контуре; email support, платные настройка и обучение. Checkout принимает $, ₴, €, ₽ и другие валюты; договорное лицо нужно проверить до оплаты
Click.ru	Российские отраслевые cloud-парсеры для Wordstat, метатегов и SEO-задач	Это не универсальный JS scraper. В Wordstat-инструменте инфраструктуру запросов берет на себя сервис; ввод чужого логина не нужен	Списки и XLSX; парсер метатегов принимает XML Sitemap; уведомление по email, облачные отчеты и XLSX. Публичного API, webhook и расписания для этих инструментов не заявлено	Для Wordstat первые 50 заданий бесплатны, далее 0,07–0,02 ₽ за тарифную единицу по объему. Для метатегов доступны 500 пробных URL	Wordstat-отчеты заявлены с неограниченным сроком хранения. ООО «Клик.ру», рублевое пополнение и безналичный счет, русская поддержка
XMLDataFeed	Российский managed dataset и заказной сбор для цен, ассортимента и баз компаний	Клиент получает готовый файл или работу команды и не управляет браузером, proxy или CAPTCHA. Происхождение и разрешенный состав данных фиксируют в ТЗ и договоре	Готовые базы и регулярный мониторинг; Excel, CSV или JSON, доставка ссылкой. Единого публичного API, webhook и SLA для всех проектов нет	Готовые выгрузки имеют цену на карточке; заказ оценивается индивидуально. Правильная единица сравнения — валидная запись требуемой свежести	ООО «РЕФОРМА», Санкт-Петербург, рублевые цены и русская поддержка. Retention, DPA и место проектного хранения нужно закрепить в договоре

Заявленная функция обработки CAPTCHA означает только то, что поставщик берет на себя техническую часть в допустимых сценариях. Она не разрешает игнорировать Terms of Service, запрет владельца или закон. В пилоте не нужно специально искать защищенный сайт: сначала проверьте качество на разрешенном наборе.

Матрица выбора по классу и сценарию

Сценарий	Подходящий класс	Shortlist	Что проверить до оплаты
Разово собрать таблицу без разработчика	No-code desktop/cloud	Browse AI, Octoparse, Datacol	Пагинация, вложенные карточки, лимит строк, ручная проверка результата
Следить за ценами или изменениями страниц	No-code monitoring или managed platform	Browse AI, Octoparse, Apify, Bright Data	Расписание, инкрементальность, уведомления, стоимость повторов, реакция на редизайн
Встроить получение HTML/JSON в приложение	Scraping API	ScrapingBee, Firecrawl, Bright Data	Контракт ответа, timeout, 4xx/5xx, idempotency, webhook, лимиты concurrency
Запускать готовые crawlers и собственный код	Actor platform	Apify	Автор и версия Actor, pay-per-event, platform usage, proxy/storage, тест схемы
Получать статьи и товары сразу как объекты	Structured extraction	Diffbot, Firecrawl, Bright Data	Покрытие нужного типа страницы, обязательные поля, точность на gold set
Кормить поиск, RAG или ИИ чистым веб-контекстом	Markdown/JSON API	Firecrawl, Diffbot	Очистка навигации, ссылки и metadata, prompt injection, retention, цена AI-format
Владеть кодом и размещением	Open source/self-host	Scrapy, Firecrawl self-host	Browser/proxy stack, secrets, очереди, резервирование, обновления, on-call
Массово решать SEO-задачи в русскоязычном контуре	Готовый отраслевой parser	Click.ru, A-Parser	Источник данных, тарифная единица, регионы, частота, экспорт и правила поисковика
Наполнить магазин или регулярно получать готовый файл	Managed dataset/заказной parser	XMLDataFeed, Bright Data Datasets	Лицензия и происхождение, схема, свежесть, исправления, право дальнейшего использования
Работать с персональными или договорно ограниченными данными	Официальный API/выгрузка или согласованный enterprise-контур	Начать не со scraper, а с владельца источника и юриста	Основание, цель, минимизация, локализация, DPA, удаление, аудит и SLA

Матрица помогает убрать ложные альтернативы. Например, ScrapingBee и proxy-пакет нельзя сравнить только по цене трафика: API уже включает браузерную и сетевую работу. Готовая база XMLDataFeed тоже не конкурент Scrapy по числу потоков — у нее оценивают свежесть и пригодность строк.

No-code и облачные платформы

Browse AI

Browse AI подходит бизнес-пользователю, который может показать системе повторяемое действие: открыть страницу, выбрать список или поле и затем запускать robot по расписанию. Сервис силен в мониторинге небольшого и среднего числа страниц, изменениях цены, наличии товара и переносе результата в таблицу или webhook.

Главный риск — кредитная модель. Один экран с 50 строками и 50 переходами в карточки — не одна страница работы. В примере поставщика список и детальные страницы расходуют кредиты отдельно, а premium site задает минимальную цену запуска. До подписки нужно посчитать полный граф переходов и частоту мониторинга. Хранение 90 дней и инфраструктура AWS в США также требуют проверки, если в результатах есть персональные или внутренние данные.

Octoparse

Octoparse дает визуальный конструктор, локальный запуск и облачные процессы. Он удобен, когда аналитик работает с каталогом, пагинацией, динамической загрузкой, файлами и хочет получить XLSX или сразу отправить данные в хранилище. Платные планы добавляют расписание, API, cloud runs и интеграции. Читать полный обзор сервиса Octoparse

Free подходит для знакомства и небольшого разового экспорта, но не заменяет проверку облачного процесса. У тарифной страницы встречаются разные способы показа цены Standard, поэтому ориентироваться надо на итоговый счет и период оплаты. Для чувствительного проекта заранее уточняют регион обработки, DPA, срок retention конкретного плана и порядок удаления.

Apify

Apify полезен, когда готовый Actor покрывает источник, но команде также нужна возможность изменить код, запускать задачи по API и хранить dataset рядом с очередью. Это удобная середина между no-code и собственным кластером.

Название Actor не гарантирует качество. У него есть автор, версия, схема входа, отзывы, история обновлений и собственная модель цены. Pay-per-event может брать деньги за результат или событие, а pay-per-usage складывается из compute units, прокси, transfer и storage. Пилотируют конкретный Actor, а не платформу вообще; после теста сохраняют версию и фактический расход.

API, браузер, proxy и структурирование с помощью ИИ

ScrapingBee

ScrapingBee снимает с разработчика управление браузерами и ротацией IP. Приложение отправляет API-запрос и получает HTML, screenshot или извлеченные поля. Это хороший вариант для сервиса, где crawl graph, очередь, расписание и хранилище уже есть, а не хватает надежного fetch/render-слоя. Читать полный обзор сервиса ScrapingBee

Credits нельзя считать как URL один к одному: JavaScript, premium proxy и другие функции меняют расход. В архитектуре нужно хранить status code, число попыток и причину окончательного отказа, иначе бюджет уйдет на повторение заведомо неподходящих запросов. Если нужны business-schedules, история наборов и согласованная доставка в BI, их придется добавить вокруг API.

Bright Data

Bright Data уместен для большой программы web data, но сначала надо выбрать модуль. Web Scraper API — готовая схема по популярному источнику. Browser API — удаленный браузер для своего сценария. Proxy network — транспорт для собственного кода. Dataset — готовые данные. Покупка всех четырех компонентов для одной задачи часто создает лишнюю стоимость.

Сильная сторона готового scraper — оплата за успешные записи и обслуживание схемы поставщиком. Ограничение — покрытие конкретного источника и полей. Для нестандартного сайта используется Scraper Studio или собственный код, а значит часть сопровождения возвращается клиенту. Batch-результат доступен 16 дней, поэтому важные данные нужно автоматически доставлять в свое разрешенное хранилище. Политика сервиса прямо запрещает неразрешенный сбор информации за экраном входа.

Diffbot

Diffbot не требует писать правило для каждого типового материала: Extract API классифицирует страницу как статью, товар, обсуждение, изображение и возвращает структурированный JSON. Это удобно для неоднородных источников, где downstream-система ожидает одинаковые поля.

Проверять нужно не красоту одного ответа, а покрытие собственной схемы. Если из 100 товаров у десяти нет availability, такая автоматизация может быть дороже простого selector-parser с явной валидацией. Crawl соблюдает robots.txt по умолчанию, собирает результаты в коллекцию и удаляет неактивные проекты по сроку плана. Knowledge Graph имеет другую стоимость: экспорт сущности расходует больше credits, чем Extract одной страницы.

Firecrawl

Firecrawl ориентирован на чистый Markdown, metadata и JSON для поиска, RAG и агентов. Crawl умеет находить страницы через sitemap и ссылки, ограничивать пути и глубину, а batch-режим отправляет события в webhook. Для структурированного JSON используется схема, но ИИ-извлечение добавляет четыре credits на страницу.

Cloud и self-host не равнозначны. Базовая open-source-сборка дает scrape, crawl, map, search, fetch и Playwright, но advanced anti-bot, screenshots, actions и часть продуктов требуют дополнительных компонентов или Cloud. В self-host команда отвечает за PostgreSQL, очередь, секреты, TLS, резервные копии и инциденты. В Cloud документация по billing уточняет: если инфраструктура обработала запрос, ответ целевого сайта 403 или 404 может быть платным. Это нужно заложить в stop conditions.

Self-hosted и российские решения

Scrapy

Scrapy подходит Python-команде, которой нужны прозрачная логика обхода, pipelines и контроль нагрузки. Он асинхронно планирует запросы, поддерживает CSS/XPath, sitemap, feed exports, cookies, robots.txt middleware и ограничение concurrency. Данные можно отправлять в файл, S3, FTP или базу.

Фреймворк не рендерит JavaScript сам и не дает облачный SLA. Для browser pages, proxy pool, расписания, метрик, секретов и дежурств нужны другие компоненты. Scrapy часто выигрывает на большом стабильном объеме статических страниц, когда инженерное сопровождение уже есть. Для одного отчета на 500 URL он может оказаться дороже no-code по времени запуска.

A-Parser

A-Parser сочетает локальную установку, веб-интерфейс, готовые SEO-модули и собственные парсеры на JavaScript/Node.js. Он работает в Windows, Linux, macOS и Docker, поддерживает очередь, расписание, proxies, Headless Chrome и экспорт в JSON, SQL и CSV. Внешний API доступен в лицензии Enterprise.

Экономика отличается от SaaS: лицензия бессрочная, но обновления оплачиваются отдельно, а серверы и сети принадлежат пользователю. Для поисковых источников свежесть модулей важнее числа функций на витрине. Предел до 3000 потоков — техническая заявка поставщика; реальную конкурентность задают правила источника, разрешенная нагрузка, сервер и качество прокси.

Datacol

Datacol рассчитан на пользователя, которому нужен визуальный desktop parser с готовыми настройками для интернет-магазинов, объявлений, контента и CMS. Он обходит пагинацию, работает с динамическими страницами, собирает изображения и экспортирует в файлы, базы и системы управления сайтами.

Сервис недорог для разовой локальной работы и принимает разные валюты. При этом основной сайт не обещает единый hosted API, webhook, scheduler или SLA. Если отчет должен обновляться без включенного компьютера, поступать в warehouse и вызывать downstream-job, эти возможности надо подтвердить до покупки или добавить внешней автоматизацией.

Click.ru

Парсеры Click.ru хороши не универсальностью, а точным соответствием SEO-сценарию. Wordstat-инструмент принимает список или XLSX, учитывает регионы и виды соответствия и возвращает XLSX. Парсер метатегов принимает список URL, файл или XML Sitemap и собирает title, description и H1–H6.

Для таких задач общий браузерный scraper был бы сложнее и дороже. Обратная сторона узкой специализации — фиксированный набор полей и отсутствие публичного API или webhook у рассмотренных инструментов. Сервис подходит для ручного или полуавтоматического этапа SEO-работы, но не заменяет универсальный data pipeline.

XMLDataFeed

XMLDataFeed — пример решения, где клиент покупает не интерфейс crawler, а готовую выгрузку или заказной мониторинг. Это удобно магазину, которому нужны цены и ассортимент в Excel, CSV или JSON, но не нужен штатный инженер по парсингу.

Сравнивать подрядчика с SaaS надо по договорному результату: какие источники разрешены, что считается записью, как часто обновляются данные, сколько допускается пропусков, кто исправляет схему и можно ли использовать набор в продукте клиента. Для персональных данных, закрытых источников или перепубликации контента одного утверждения «данные открытые» недостаточно. Нужны правовое основание и зафиксированное происхождение.

Как считать полную стоимость владения

Тариф — только первая строка. Месячный TCO, то есть полная стоимость владения, считается так:

подписка + usage/overage + proxy + browser/compute + AI extraction + storage/egress + разработка + сопровождение + контроль качества + стоимость повторов.

Разовую разработку можно амортизировать на ожидаемый срок жизни проекта. Например, 60 часов создания crawler на 12 месяцев — это 5 инженерных часов в месячном TCO до первого исправления. Затем добавляются часы на редизайн источника, разбор пропусков и поддержку downstream-схемы.

Нормализуйте цену по успешной записи

Сравнение по 1000 входных URL скрывает качество. Один сервис может обработать все URL, но вернуть 730 полных товаров; другой — 900. Корректная единица:

TCO / число валидных уникальных записей, принятых вашей системой.

Запись считается успешной, если прошла схему, содержит обязательные поля, относится к правильной сущности, не является дублем и укладывается в допустимую свежесть. HTTP 200 без цены или с чужим SKU — технически ответ, но не бизнес-результат.

Учтите множители

В расчете должны быть видны:

• переходы со списка в карточки и дополнительные page loads;
• JavaScript rendering и browser minutes;
• premium domains, geolocation и proxy traffic;
• JSON/AI extraction, обработка PDF и файлов;
• повторы после timeout, 429 и временных 5xx;
• хранение, чтение/запись dataset и внешний трафик;
• цена конкретного Actor или template поверх платформы;
• ручная проверка и исправление записей;
• резерв на изменение верстки.

Не используйте бесконечные повторы. Для каждого класса ошибки заранее задают максимальное число попыток и окончательный статус. 404 карточки товара, 403 из-за политики доступа и временный 503 требуют разных решений; автоматическое повторение всех трех только увеличивает счет и нагрузку.

Безопасный пилот на разрешенном наборе

Пилот должен отвечать на вопрос «что будет с нашим процессом», а не показывать красивую demo-страницу. До передачи URL внешнему SaaS закупка и юрист проверяют договор, регион обработки, субпроцессоров, DPA, удаление и доступность оплаты.

Подготовьте test set

Используйте собственный staging-сайт, публичный test fixture или источник с письменным разрешением. Достаточно 100–500 страниц трех типов:

• статические карточки;
• JavaScript-каталог;
• пагинация со списком и вложенными карточками.

Если процессу нужны PDF или изображения, добавьте небольшой разрешенный набор. Не включайте чужие кабинеты, персональные данные, платный контент, CAPTCHA и формы.

Задайте одну схему для всех кандидатов, например: source_url, external_id, name, price, currency, availability, updated_at. Для 50 записей сделайте gold set: два сотрудника независимо проверяют поля, затем согласуют расхождения. Так появляется эталон для precision и recall, а не субъективное «выгрузка выглядит нормально».

Проверьте устойчивость к изменениям

На собственной копии десяти страниц переставьте блоки, измените CSS-классы и уберите одно необязательное поле. Повторный запуск покажет, кто обнаруживает дрейф схемы, сколько записей молча портится и сколько времени нужно на исправление. Это безопасный change test: он не вмешивается в чужой сайт и не проверяет обход защиты.

Соберите одинаковые метрики

Вариант	Входных сущностей	Валидных уникальных	Ошибок	Повторов	Пропуски обязательных полей	Credits/CU/GB	Прямая цена	Часы команды	Цена 1000 валидных
Кандидат A
Кандидат B
Кандидат C

Дополнительно фиксируют coverage URL, долю дублей, задержку обновления, число retries на валидную запись, время настройки и часы восстановления после change test. Скорость измеряют только после согласования допустимой нагрузки. Самый быстрый run, который нарушает rate limit источника, не является успешным пилотом.

Критерии приемки задают до запуска. Например: не менее 98% обязательных полей, не более 1% дублей, ноль незамеченных ошибок схемы и заранее согласованный бюджет на 1000 валидных записей. Конкретные пороги зависят от цены ошибки: мониторинг товара и медицинский справочник требуют разной строгости.

Законность, robots.txt и персональные данные

Скрапинг не становится законным только потому, что страница открывается в браузере или сервис технически умеет ее загрузить. Перед запуском нужна проверка источника, цели, объема и последующего использования.

Начните с API и условий площадки

Проверьте официальный API, партнерскую выгрузку, лицензию на dataset и письменное разрешение. Затем изучите Terms of Service, robots.txt и rate limits. Robots.txt — машинная инструкция для crawler, но не полный юридический договор; безопасная практика — соблюдать ее и получать согласование для исключений.

Не собирайте данные за login, paywall или CAPTCHA без явного права. Собственный корпоративный аккаунт тоже ограничен договором площадки: право читать страницу вручную не всегда включает массовую автоматизированную выгрузку.

Отделите факты от охраняемого содержимого

Цена и артикул отличаются от авторского описания, фотографии или целого каталога. В России существенное извлечение и повторное использование базы может затрагивать исключительное право изготовителя базы данных по статье 1334 ГК РФ. Для публикации чужих текстов и изображений дополнительно проверяют авторские права и лицензию.

Публичный контакт остается персональными данными

Имя, телефон, email, профиль и связка этих полей с человеком могут оставаться персональными данными после публикации. Оператору нужны цель и основание обработки, минимизация, срок хранения, безопасность, исполнение прав субъекта и процедура удаления. При сборе данных граждан РФ проверяют локализацию и трансграничную передачу по актуальной редакции Федерального закона № 152-ФЗ «О персональных данных».

Если зарубежный SaaS получает исходные URL, cookies или результаты, это отдельный поток данных. Его отражают в схеме обработки и договоре. Для чувствительных наборов выбирают согласованный регион, Zero Data Retention или self-host, но сначала проверяют все внешние proxy, AI и storage-компоненты: локальный API поверх зарубежного subprocessора не обеспечивает локализацию автоматически.

Ограничьте нагрузку

Даже разрешенный сбор не должен ухудшать работу источника. Согласуйте частоту, concurrency, окна обновления и реакцию на 429. Сохраняйте результат и делайте инкрементальные обновления, чтобы не загружать одну страницу повторно без необходимости. У процесса должны быть аварийная остановка, владелец и журнал причин ошибок.

Что выбрать разработчику, аналитику и бизнесу

Разработчику

Если crawl graph, очередь и БД уже есть, начните с ScrapingBee или Firecrawl и сравните их с собственным Scrapy на одинаковом test set. Apify удобнее, когда нужны готовые Actors и возможность быстро дописать свой. Bright Data стоит рассматривать при большом числе защищенных публичных источников, enterprise-контролях или готовой отраслевой схеме. Diffbot — когда объектная структура важнее контроля каждого селектора.

Аналитику без команды разработки

Browse AI подходит повторяемому мониторингу, Octoparse — более сложному визуальному workflow и широкому экспорту, Datacol — локальной русскоязычной работе. Проверяйте не только первый успешный запуск, но и обновление через неделю, обработку пустого поля, дубликаты и стоимость вложенных карточек.

SEO- и e-commerce-команде

Для Wordstat и метатегов готовый Click.ru проще универсального браузера. A-Parser полезен, если задач много, нужны расписание, свои JS-модули и локальный сервер. Для готовых цен и ассортимента XMLDataFeed может снизить нагрузку на штат, но в договоре должны быть схема, свежесть, источник, лицензия и исправление ошибок.

Агентству

Агентству важны разделение проектов, роли, лимиты, audit trail и переносимость. No-code ускоряет прототип, а Apify или API-платформа лучше встраиваются в повторяемый delivery. Не смешивайте cookies, proxy pools и выгрузки клиентов. В смете отдельно показывайте usage поставщика, поддержку crawler и проверку качества.

Бизнесу с требованиями к размещению данных

Начните с карты данных и договора, затем выбирайте технологию. Scrapy и Firecrawl self-host позволяют держать основную систему в выбранном контуре; A-Parser и Datacol обрабатывают данные локально. Это не исключает внешние потоки через proxy, CAPTCHA, AI, telemetry или storage. Каждый компонент проверяется отдельно. Для российского юрлица также нужен закупочный preflight: доступ к сайту и API, рублевый счет или допустимый платежный маршрут, закрывающие документы, НДС, поддержка и санкционные риски.

Итог

Лучший сервис — тот, который дает разрешенные, полные и воспроизводимые данные по приемлемой цене успешной записи. Для no-code shortlist начинайте с Browse AI и Octoparse; для облачной разработки — с Apify; для API-слоя — со ScrapingBee и Firecrawl; для готовых крупных схем — с Bright Data или Diffbot; для собственного контура — со Scrapy, Firecrawl self-host или A-Parser. Click.ru и XMLDataFeed выигрывают не универсальностью, а соответствием российским SEO- и e-commerce-сценариям.

До подписки оставьте в shortlist три решения разных классов, проведите одинаковый безопасный пилот и посчитайте TCO на валидную запись. Если официальный API, лицензированный dataset или договорная выгрузка дают тот же результат, начинать стоит с них.