agent-device

agent-device

callstackincubatorMIT
2.4k звёзд130 форков
agent-device — инструмент командной строки для автоматизации реальных устройств через AI-агентов. Агенты могут открывать приложения, просматривать интерфейс, взаимодействовать с элементами и собирать отладочную информацию на iOS, Android, телевизорах и десктопах. Если вы знакомы с agent-browser от Vercel, то agent-device делает то же самое для мобильных и ТВ-приложений. Инструмент пригодится разработчикам и DevOps, которые хотят проверять работу приложений на реальных устройствах не вручную, а через AI-ассистента. agent-device работает с нативными iOS/Android-приложениями, а также с Expo, Flutter и React Native. AI-агент получает компактное представление экрана в виде accessibility-снимка, взаимодействует с элементами по ссылкам и собирает доказательства только когда нужно. Это экономит токены и время агента.
Ai-mlDevelopment
Открыть на GitHub

Установка

npx -y agent-device

Характеристики

Общее

  • СтатусСообщество
  • Разработчикcallstackincubator
  • ЛицензияMIT

Технологии

  • Языки
    TypeScript
  • Транспорт
    stdio

Описание

Возможности

  • Просматривайте интерфейс приложений через компактные accessibility-снимки, семантические ссылки (например, @e3) и деревья React Native-компонентов.
  • Открывайте приложения, нажимайте кнопки, вводите текст, скролльте и выполняйте жесты.
  • Делайте скриншоты и записывайте видео экрана для документирования работы.
  • Собирайте логи, трейсы, сетевой трафик, профили производительности и данные о падениях.
  • Записывайте сценарии в формате .ad и воспроизводите их локально или в CI.
  • Автоматизируйте проверки на iOS Simulator, Android Emulator, физических устройствах, tvOS, Android TV, macOS и Linux.
  • Обрабатывайте системные диалоги и предупреждения, закрывайте сессии после работы.
  • Используйте утверждения (assertions) для проверки состояния интерфейса.

Как подключить

Установите agent-device через npx:

npx -y agent-device

Для работы через MCP добавьте конфигурацию в настройки Claude Desktop:

"mcpServers": { "agent-device": { "command": "npx", "args": ["-y", "agent-device"] } }

Для использования с физическими устройствами или симуляторами установите дополнительные зависимости: XCUITest для iOS и UiAutomator для Android. Подробнее — в документации проекта.

Перезапустите Claude Desktop, чтобы применить изменения.

Примеры запросов

  • «Открой приложение Календарь и создай новое событие на завтра в 10 утра».
  • «Сделай скриншот главного экрана и сохрани его в папку проекта».
  • «Найди поле поиска, введи «React Native» и нажми Enter».
  • «Запиши видео взаимодействия с формой логина и пришли ссылку на файл».
  • «Проверь, отображается ли кнопка «Добавить» на экране контактов».

Технические детали

Язык: TypeScript

Транспорт: stdio

Лицензия: MIT

Совместимые клиенты: Claude Desktop и любые другие MCP-клиенты

Разработчик: Callstack Incubator

Репозиторий: github.com/callstackincubator/agent-device

Поделиться