Exowatt: дообучение на SageMaker обходит frontier-модели

Exowatt, разработчик модульных солнечных систем для энергоёмких задач, включая дата-центры ИИ, использовала Amazon SageMaker AI serverless model customization для повторяемого ИИ-конвейера. Конвейер создаёт дообученные под задачу модели для двух целей — периферии и облака — и, по данным компании, достигает точности выше frontier-моделей при затратах до 49 раз ниже.

Флагманский продукт Exowatt P3 собирает солнечную энергию оптическими линзами, хранит её как тепло в термальной батарее и выдаёт электричество по требованию через тепловой двигатель. В отличие от сетевых фотоэлектрических систем, P3 питает дата-центры напрямую за счётчиком, помогая им подключаться без ожидания в многолетних очередях на присоединение к сети. Exowatt строит парк ИИ-агентов, которые следят за оповещениями и поддерживают операционные решения, часто на периферии при ограниченном подключении или без него.

Две модели — первые результаты конвейера, а не конечная цель. Более долговечный результат — сам конвейер: повторяемый путь от сырых операционных данных до сертифицированного обучающего набора, дообученной модели и оценённого артефакта развёртывания. Exowatt может проходить этот путь за дни, а не месяцы.

Задача

Энергосистема Exowatt работает на растущем парке площадок, каждая из которых постоянно выдаёт оповещения. При масштабировании до тысяч полевых установок человек не может следить за каждой площадкой в реальном времени. Frontier-модель не решала задачу по трём причинам: задача узкая и проприетарная, она должна работать на периферии без GPU и часто без интернета, а стоимость не масштабируется на уровне парка.

Первоначальный процесс дообучения требовал выбора open-weight модели, сборки контейнера и создания рецепта обучения до любого эксперимента. При дообучении на выделенных GPU нужно было выбирать тип инстанса и ждать доступности мощности; недоступность инстанса могла задержать или заблокировать запуск.

Решение

Exowatt применила подход на Qwen3-1.7B для первого сценария — периферийной сортировки оповещений, затем на Qwen3-14B для второго — облачного анализа энергорынка. Компания планирует повторно использовать решение для меньших моделей под задачи по всему парку.

Конвейер использует семь сервисов AWS без инстансов, кластеров и эндпоинтов в управлении:

Amazon S3 — данные, манифесты, артефакты моделей и тестовые наборы;
Amazon SageMaker AI serverless fine-tuning — каждый запуск дообучения из рецептов Public Hub;
Amazon SageMaker AI serverless evaluation — 2000 ответов на кандидата оцениваются как управляемая задача;
SageMaker Model Registry — каждое завершённое дообучение с доказательствами и метриками;
Amazon Bedrock Custom Model Import — хостинг дообученной Qwen3-14B для Cloud EMS без простоя;
Amazon Bedrock (Claude, Qwen3) — парафразы (три переписывания на ответ в обучающих данных) и бенчмаркинг frontier-моделей;
AWS Lambda + Amazon EventBridge — serverless-скоринг оценки и плановый прогрев кастомной модели.

Парафразы для сортировки оповещений используют Qwen3-VL-235B на Amazon Bedrock, для энергорынка — Claude Sonnet 4.6 на Amazon Bedrock.

Работа организована в три этапа: дообучение в облаке (LoRA и supervised fine-tuning на SageMaker AI, лучшая модель регистрируется в SageMaker AI Model Registry); периферийное развёртывание (Qwen3-1.7B замораживается, квантуется в GGUF и запускается с llama.cpp в подах Kubernetes на локальных контроллерах без GPU и интернета); облачное развёртывание через Amazon Bedrock Custom Model Import без простоя и с оплатой только во время активности.

Периферийная сортировка оповещений

Qwen3-8B с промптами и guardrails остановилась ниже цели (0.735 macro-F1). Дообученная Qwen3-1.7B превзошла эту связку на узкой одношаговой задаче примерно при одной пятой параметров. Тринадцать кандидатов дообученной Qwen3-8B на 12 версиях датасета так и не превзошли базовую 8B с промптами.

Обучающий набор — 2522 примера из 684 проверенных решений на сгенерированных сценариях площадок и 1838 сертифицированных парафраз. Парафразы сгенерированы Qwen3-235B на Amazon Bedrock примерно за $3.72; парафраза сохранялась, только если детерминированные проверки подтверждали неизменность решения, меток, цитат доказательств и каждого числа (прошли 1838 из 2218 кандидатов). Одно семейство неисправностей полностью исключено из обучения, 320 случаев отложены для тестирования.

Обучение заняло около 32 минут на SageMaker serverless fine-tuning и стоило примерно $20–$25. Модель квантована до 8 бит (около 1.71 GiB) и работает офлайн в поде llama.cpp на 6 GiB на существующем CPU-сервере площадки, а также на инстансе t3.2xlarge.

Облачный анализ энергорынка

Qwen3-14B выбрана, потому что поддерживается Amazon Bedrock Custom Model Import, поставляется как модель SageMaker Public Hub с готовым рецептом LoRA и при размере около 28 GiB достаточно мала для экономичного обслуживания.

Дообучение велось на публичных данных рынка ERCOT за пять лет истории (около 163 млн строк в 12 таблицах). Данные размечены правилами в 25 000 примеров: 22 000 для обучения, 1000 для валидации, 2000 отложены для тестирования. Затем обучающий набор расширен до 86 281 строки переписыванием текста каждого примера моделью Claude Sonnet 4.6 на Amazon Bedrock при неизменных метках и числовых полях.

Обучение — одна эпоха LoRA (rank 16, alpha 32), около 8.5 часов управляемого serverless-дообучения, до четырёх задач одновременно. За шесть дней от начального плана до модели-чемпиона в Cloud EMS выполнено 23 задачи и около 155 часов управляемого обучения. Добавление трёх переписей на ответ подняло macro-F1 с 0.950 до 0.975; базовая Qwen3-14B набрала 0.415 macro-F1.

Объединённый чекпоинт импортирован в Amazon Bedrock Custom Model Import примерно за 14 минут. Модель стоит $6.86 в час только во время активности.

Результаты бенчмарков

На периферийной задаче дообученная Qwen3-1.7B набрала 0.911 macro-F1 на 320 тестовых случаях, впереди всех frontier-баз. На задаче энергорынка с 2000 тестовых случаев Qwen3-14B достигла 0.975 macro-F1, впереди frontier-базы и при доле стоимости. Обе модели возвращают строгий JSON, где каждое утверждение ссылается на конкретную строку входных данных; неподтверждённые утверждения отбрасываются до оператора.

Таблица 1 — периферийная сортировка оповещений:

Claude Haiku 4.5 — 0.519 macro-F1, ~$4.70 за 1000 решений, не офлайн;
Claude Opus 4.7 — 0.680, ~$22, не офлайн;
Claude Sonnet 4.6 — 0.698, ~$15, не офлайн;
дообученная Qwen3-1.7B — 0.911, $0, офлайн;
базовая Qwen3-1.7B — без оценки (не прошла проверку валидности).

$0 за 1000 решений означает отсутствие оплачиваемых API или GPU-затрат на инференс: квантованная модель работает на существующем CPU площадки.

Таблица 2 — облачный анализ энергорынка:

базовая Qwen3-14B — 0.415 macro-F1, точность событий 0.54, валидный JSON 0.834, $0.64 за 1000 ответов;
Claude Sonnet 4.6 — 0.538, 0.584, 0.991, $17.79;
Claude Opus 4.7 — 0.625, 0.718, 0.9995, $29.26;
дообученная Qwen3-14B — 0.975, 0.983, 1.000, $0.60.

Затраты — это прайс-лист Amazon Bedrock, умноженный на измеренные токены на ответ. Дообучение подняло открытую модель с последнего места на первое: +0.35 macro-F1 над Claude Opus 4.7 (95-процентный доверительный интервал 0.324–0.371) при примерно 49-кратно меньшей стоимости за 1000 ответов ($0.60 против $29.26). Модель удержала 0.968 macro-F1 на втором, более позднем тестовом наборе.

Эффект для бизнеса

Exowatt вывела дообученную модель из эксперимента в продакшен за девять дней. Для сценария энергорынка компания выполнила 23 задачи общим объёмом около 155 часов управляемого обучения и прошла от базовой модели до дообученной, обслуживающей в Cloud EMS, за шесть дней. Сквозной конвейер использует семь serverless-сервисов AWS без инстансов, кластеров и эндпоинтов в управлении Exowatt.

Обе дообученные модели превзошли более крупные frontier-модели на своей задаче: Qwen3-1.7B — 0.911 macro-F1 против 0.698 у Claude Sonnet 4.6; Qwen3-14B — 0.975 против 0.625 у Claude Opus 4.7. В облаке Qwen3-14B обслуживается за $0.60 за 1000 ответов против $29.26 у Claude Opus 4.7 (примерно в 49 раз ниже), без простоя и за $6.86 в час только во время активности. На периферии квантованная Qwen3-1.7B работает на существующем CPU площадки без затрат на инференс и без зависимости от подключения.

Механизм проверки доказательств удалил все утверждения без цитат, а периферийная модель воздерживается от ответа при неуверенности. Это позволило команде запустить модель автономно в теневом режиме на облачной реплике площадки.

Выводы

На модели сортировки оповещений больше проверенного разнообразия обучения подняло macro-F1 с 0.584 (только 684 проверенных решения) до 0.911 (набор из 2522 строк с парафразами). Контрольный запуск на 684 исходных строках за 11 эпох (то же число шагов) достиг только 0.879.

Exowatt планирует применять те же принципы дообучения к разным задачам, каждая со своими данными, моделями и оценками, по мере появления новых типов устройств и рыночных задач, в том числе за пределами энергетики.

Источник: https://aws.amazon.com/blogs/machine-learning/exowatt-beats-frontier-models-on-accuracy-with-sagemaker-serverless-model-customization