Парсинг сайтов

One Search MCP

yokingma

11617

One Search MCP — это сервер для поиска и сбора контента из интернета. Он объединяет несколько поисковых провайдеров и инструментов для парсинга веб-страниц в одном интерфейсе. Разработчик отказался от внешнего сервиса Firecrawl в пользу локального Chromium-браузера. Это значит, что базовый поиск и сбор данных работают бесплатно и без ключей API. Сервер подходит разработчикам, которые автоматизируют сбор новостей, мониторинг цен, анализ контента конкурентов или подготовку данных для языковых моделей. Четыре инструмента — one_search, one_scrape, one_map, one_extract — покрывают весь цикл работы с веб-данными.

MinerU Open MCP

opendatalab

10710

MinerU Open MCP — это сервер, который через протокол MCP подключает AI-ассистентов к API MinerU для парсинга документов. Он преобразует PDF, Word, Excel, PPT, HTML и изображения в чистый Markdown. Внутри работает двухрежимный движок: VLM для сложной вёрстки и OCR для сканов и рукописного текста. Сервер подходит разработчикам, которые строят RAG-пайплайны, подготавливают данные для обучения LLM или автоматизируют обработку документов с помощью AI-агентов. Не нужно разбираться в тонкостях каждого формата — ассистент сам извлечёт текст, таблицы и формулы.

ShadowCrawl

cortex-works

667

ShadowCrawl — MCP-сервер на Rust для скрытного сбора данных из интернета. Он решает главную проблему AI-агентов: как получить контент со страниц, защищённых Cloudflare, DataDome или требующих входа на LinkedIn. В основе сервера лежит прогрессивная стратегия обхода блокировок. Сначала выполняется обычный HTTP-запрос. Если страница не открывается, подключается рендеринг через браузер Chromium (CDP). Если и это не помогло, запускается stateful E2E-автоматизация. В самых сложных случаях сервер запрашивает помощь человека (Human-in-the-Loop). Такой гибридный подход — Cyborg — добывает данные оттуда, куда обычные парсеры не пробиваются. ShadowCrawl подходит для анализа конкурентов, сбора данных для обучения моделей, мониторинга цен и проверки доступности сайтов.

ragstack

HatmanStack

2310

RAGStack — это MCP-сервер для развёртывания приватной RAG-базы знаний на AWS. Он умеет загружать, индексировать и искать документы, видео, аудио и веб-страницы. Вся архитектура бессерверная (AWS Lambda, S3, DynamoDB) — вы не платите за векторную базу данных, пока не пользуетесь ей. Разработчики и DevOps-инженеры получают готовую AI-систему для работы со своей базой знаний. Ассистент отвечает на вопросы, опираясь на содержимое базы, цитирует источники и может показывать таймкоды из видео. Сервер разворачивается одной командой и не требует ручного управления инфраструктурой.

Camoufox MCP

baixianger

71

Camoufox MCP — это сервер для браузерной автоматизации, построенный на базе защищённого браузера Camoufox (специализированная сборка Firefox). Его главная задача — дать AI-ассистенту возможность управлять браузером так, чтобы сайты не могли отличить его от живого пользователя. Инструмент пригодится разработчикам, которые парсят сайты с Cloudflare и DataDome, автоматизируют тестирование или создают AI-агентов. В отличие от стандартного headless-режима, Camoufox подменяет цифровые отпечатки, имитирует человеческое поведение и умеет работать с прокси с привязкой к GeoIP.