Property Finder выявил смещение в 96,8% оценочных меток и выбрал Llama 4 Maverick 17B Instruct на Amazon Bedrock

Команда инженеров Property Finder, цифрового приложения для недвижимости, обнаружила, что 96,8% их оценочных меток были унаследованы напрямую из предсказаний одной модели, а не проверены экспертами. Это выяснилось при переносе рабочей нагрузки vision AI на более экономичный вариант на Amazon Bedrock. Метки также содержали ошибки, но именно смещение блокировало объективное сравнение моделей.

Property Finder обрабатывает десятки тысяч изображений недвижимости ежедневно на Ближнем Востоке и в Северной Африке (MENA). Система оценивает 11 атрибутов качества на изображение: обнаружение водяных знаков, классификацию комнат, статус мебели, качество фото и индикаторы строительства. Тысячи новых объявлений со средним числом 15 изображений каждое нуждаются в оценке качества перед публикацией. В оставшихся 3,2% размеченных людьми образцов аннотаторы ввели категории вне исходной спецификации, например Office там, где такого ярлыка не было в промпте.

Чтобы разорвать цикл, команда Property Finder вручную аннотировала 356 изображений из ОАЭ и отдельный набор изображений из Египта. Первые 256 аннотированных изображений из ОАЭ составили набор для настройки. Оценочный набор для финального сравнения моделей использует все 356 изображений, включая 100 изображений, аннотированных после прогонов на development set. Изображения из Египта служили кросс-региональной проверкой на 230 изображениях и в посте не описываются. Все изображения аннотировал стратегический и аналитический эксперт, а команда AWS Generative AI Innovation Center проводила систематические проверки качества через специальные сессии уточнений.

Переход от одноклассовой к многоклассовой классификации устранил крупный источник искусственной неоднозначности. Основной метрикой служил Micro F1, рядом приводился Macro F1, также использовались precision и recall по каждому ярлыку и IoU по каждому образцу. Девять одноклассовых атрибутов, таких как поворот или обнаружение водяных знаков, дополнительно оценивались по exact-match accuracy.

Первый промпт (v0) использовал общие инструкции по классификации. Проприетарная модель A, производственный базовый вариант Property Finder, показала Micro F1 0,55 на наборе из 256 изображений с промптом v22. Оценки до v21 использовали более раннюю одноклассовую настройку и не сопоставимы напрямую. В ранних одноклассовых версиях модель стабильно классифицировала комнаты, видимые через дверные проёмы, как вторичный тип комнаты; команда AWS Generative AI Innovation Center добавила явные инструкции классифицировать по комнате, занимающей большую часть кадра. В некоторых регионах на фотографиях объявлений есть декоративные арабские текстовые наложения, не являющиеся водяными знаками; правила для такого текста устранили целую категорию ложных срабатываний.

Промпт v21 перевёл классификацию фото и категорию комнаты на многоклассовый вывод и стал общим стартовым промптом для каждой модели. С ним Llama 4 Maverick 17B Instruct от Meta показала Micro F1 0,75 на development set. Для этой модели промпт v24 был нацелен на переоценку размера комнаты, многоклассовую обработку и формат вывода. v25 — автоматически оптимизированная версия, переместившая критичные задачи в начало. В v27 MIPROv2 реструктурировал задачу классификации фото, и Micro F1 модели на этой задаче достиг 0,76.

Финальный промпт v27_PF — это v27 плюс правила, добавленные Property Finder для рендеров, изображений с рамками и коридоров. С v27_PF Llama 4 Maverick 17B Instruct показала Micro F1 0,80 на оценочном наборе из 356 изображений, где проприетарная модель A с v22 показала 0,56. Оценочный набор включает 256 изображений development set, и промпты обеих моделей настраивались на этих изображениях, поэтому оценки оптимистичны. Переход с проприетарной модели A на Llama 4 Maverick 17B Instruct, каждая со своим настроенным промптом, поднял Micro F1 с 0,55 до 0,81 на development set — относительный прирост 47%. Только настройка промпта на Llama 4 Maverick 17B Instruct подняла Micro F1 с 0,75 с общим промптом v21 до 0,81 с v27.

Не всё сработало. Подход с двумя бакетами (2-bucket), разделявший атрибуты водяных знаков и остальные атрибуты на два отдельных вызова API, не дал значимого прироста точности. Обнаружение изображений в рамках также резко упало: без атрибутов водяных знаков в том же промпте модели принимали наложения водяных знаков за границы изображения. Общие промпты не работали независимо от модели.

Все модели стартовали с общего промпта v21 и затем настраивались под своё семейство моделей на development set. Проприетарная модель A получила один раунд настройки — v22. Llama 4 Maverick 17B Instruct получила несколько раундов — с v24 по v27, плюс правила Property Finder для пограничных случаев. Property Finder выбрал Llama 4 Maverick 17B Instruct для производственной нагрузки по точности на всех 11 атрибутах и экономической эффективности.

Llama 4 Maverick 17B Instruct (v27_PF) достигла exact-match accuracy 90% или выше на шести из девяти одноклассовых атрибутов и сравнялась или превысила проприетарную модель A на всех 11 атрибутах. На классификации фото, где может быть несколько ярлыков на изображение, обе модели показали одинаковый результат. Exact-match accuracy по атрибутам: Rotation detection 100%, People detection 97%, Boxed-image detection 97%, Watermark detection 94%, Render detection 93%, Furnished status 91%, Room under construction 81%, Room size 65%, Watermark text extraction 55%.

Оценочная стоимость на 1000 изображений — $2,35, снижение затрат по сравнению с предыдущей конфигурацией Property Finder — 86%. Эти цифры — оценки по состоянию на декабрь 2025 года в регионе US East (Ohio). Расчёт для Llama 4 Maverick 17B Instruct предполагает 9000 входных токенов и 200 выходных токенов на изображение из исходного анализа затрат на два вызова; один вызов с производственным промптом несёт около 7500–8000 входных токенов, поэтому это верхняя оценка. Снижение на 86% сравнивается с оценкой затрат предыдущей конфигурации Property Finder, использовавшей промпт v21. Сравнение точности использовало v22, настроенный из v21, поэтому его стоимость может отличаться.

Property Finder запускает оптимизированный конвейер в производстве, обрабатывая десятки тысяч изображений ежедневно с Llama 4 Maverick 17B Instruct на Amazon Bedrock. По собственному мониторингу Property Finder, задержка инференса снизилась на 40–60% по сравнению с предыдущей конфигурацией.

В посте рекомендуется начать с аудита оценочных меток, создать ground truth с участием доменных экспертов на нескольких сотнях репрезентативных образцов и держать отдельный тестовый сплит, не используемый для настройки. Также рекомендуется применять многоклассовые метрики при пересекающихся атрибутах и итерировать промпты с анализом ошибок изображений. При развёртывании конвейера в посте советуют добавить средства ответственного ИИ, например Amazon Bedrock Guardrails для соблюдения политик контента и фильтрации нежелательных выводов модели. Предсказания атрибутов в этом конвейере не имеют калиброванной оценки уверенности, поэтому в посте предлагается использовать практический сигнал для выбора изображений на проверку человеком, например разногласие моделей; вторая модель на каждом изображении добавляет затраты, поэтому можно начать с выборки.

В посте отмечается, что Amazon Bedrock дал Property Finder доступ к нескольким семействам моделей через единый API, унаследованные средства управления и безопасности AWS и возможность внедрять новые модели без изменения инфраструктуры. Дополнительные участники от AWS: Yousuf Albannai, Amine Sehili, Thomas Ounnas, Aris Tsakpinis, Rafik Soliman, Nikhil Ulhas Pandit и Sneh Sharma. Пост соавторствован с Khaled Thabit, Meriem Boughrara и Mohamed Desouky из Property Finder.

Источник: https://aws.amazon.com/blogs/machine-learning/fix-evaluation-bias-to-unlock-better-models-on-amazon-bedrock