CRW Web Scraper

CRW Web Scraper

Международный
usAGPL-3.0
1.3k звёзд102 форков
CRW Web Scraper (fastCRW) — самохостинговый веб-скрапер на Rust для AI-агентов. Альтернатива Firecrawl с полностью открытым исходным кодом. Извлекает текст со страниц, обходит сайты по ссылкам, строит карты ресурсов и ищет информацию. Доступно через MCP-протокол или REST API. Производительность — главная особенность. Один статический бинарник на Rust потребляет ~50 MB RAM. Точность извлечения данных — 63,74% truth-recall на публичном датасете из 1000 URL. Разверните сервер на своих мощностях бесплатно (AGPL-3.0) или используйте облачную версию на fastcrw.com.
  • Сервер сообщества
  • Локальный запуск (stdio)
  • Rust
  • Лицензия AGPL-3.0
  • Обновлён 22 ноября 2026 г.

Как подключить CRW Web Scraper

  1. Откройте репозиторий или документацию проекта и найдите команду запуска сервера (обычно npx, uvx или docker).
  2. Добавьте сервер в конфигурацию клиента: имя, команду запуска и переменные окружения с ключами, если они нужны.
  3. Перезапустите клиент и проверьте, что в списке инструментов появился CRW Web Scraper.

Где лежит файл конфигурации у Claude Desktop, Cursor, VS Code и других клиентов, показано в начале каталога MCP.

Характеристики

Общее

  • СтатусСообщество
  • Разработчикus
  • ЛицензияAGPL-3.0
  • Последний релиз22.11.2026
  • Активность источника22.11.2026

Технологии

  • Языки
    Rust
  • Транспорт
    stdio — локальный запуск

Описание

Возможности

  • Извлекает контент веб-страниц (Scrape) — возвращает чистый HTML или Markdown.
  • Обходит сайты по всем внутренним ссылкам (Crawl).
  • Извлекает структурированные данные по заданной схеме (Extract).
  • Строит карту сайта — находит все URL на указанном домене (Map).
  • Ищет информацию в интернете через API (Search).
  • Поддерживает эндпоинты Firecrawl — /v1/scrape, /v1/crawl, /v1/extract, /v1/map, /v1/search.
  • Работает как MCP-сервер через stdio.
  • Потребляет ~50 MB RAM — один бинарник без зависимостей.
  • Доступен в исходниках — лицензия AGPL-3.0, можно адаптировать под себя.
  • Достигает 63,74% truth-recall на бенчмарках (fastcrw.com/benchmarks).

Как подключить

Установите сервер через cargo:

cargo install crw-server

Добавьте сервер в конфигурацию MCP-клиента. Для Claude Desktop настройте JSON:

{ "mcpServers": { "crw": { "command": "crw-server", "args": ["--mcp"], "env": {} } } }

Перезапустите клиент.

Примеры запросов

  • «Собери все страницы сайта mycompany.com и покажи их структуру.»
  • «Извлеки контактные данные со страницы контактов example.org.»
  • «Найди на сайте новости за последнюю неделю и сохрани тексты в Markdown.»
  • «Проверь карту сайта my-site.ru на битые ссылки.»

Технические детали

  • Язык: Rust
  • Транспорт: stdio (MCP), REST API
  • Лицензия: AGPL-3.0
  • Совместимые клиенты: Claude Code, Cursor, Windsurf, Cline, Copilot, Continue.dev, Codex, Gemini CLI
  • Размещение: собственный сервер или облачная версия на fastcrw.com

Вопросы и ответы

CRW Web Scraper (fastCRW) — самохостинговый веб-скрапер на Rust для AI-агентов. Альтернатива Firecrawl с полностью открытым исходным кодом. Извлекает текст со страниц, обходит сайты по ссылкам, строит карты ресурсов и ищет информацию. Доступно через MCP-протокол или REST API. Производительность — главная особенность. Один статический бинарник на Rust потребляет ~50 MB RAM. Точность извлечения данных — 63,74% truth-recall на публичном датасете из 1000 URL. Разверните сервер на своих мощностях бесплатно (AGPL-3.0) или используйте облачную версию на fastcrw.com.

CRW Web Scraper не отмечен в каталоге как официальный MCP-сервер. Перед установкой проверьте владельца репозитория, лицензию и запрашиваемые разрешения.

В карточке разработчиком указан us.

В карточке перечислены транспорты: stdio.

Для проекта указана лицензия AGPL-3.0. Условия использования нужно сверять с файлом лицензии исходного репозитория.

В карточке указаны языки реализации: Rust.

Извлекает контент веб-страниц (Scrape) — возвращает чистый HTML или Markdown. Обходит сайты по всем внутренним ссылкам (Crawl). Извлекает структурированные данные по заданной схеме (Extract).

Установите сервер через cargo: cargo install crw-server Добавьте сервер в конфигурацию MCP-клиента. Для Claude Desktop настройте JSON: { "mcpServers": { "crw": { "command": "crw-server", "args": ["--mcp"], "env": {} } } } Перезапустите клиент.

Поделиться