Команда Feyn Labs выпустила модель FeyNoBg для автоматического удаления фона, которая показывает результаты на уровне SOTA. Согласно опубликованным данным, модель занимает первое место на четырёх из восьми популярных бенчмарков, а на остальных четырёх отстаёт от лидера не более чем на 2 %. Вместе с моделью представлена библиотека NoBg с открытым исходным кодом — она использовалась для обучения FeyNoBg и подходит для запуска готовых моделей или тренировки собственных.
Как устроена FeyNoBg
В основе FeyNoBg лежит архитектура BiRefNet, состоящая из модулей локализации и реконструкции. Разработчики увеличили глубину третьей стадии экстрактора признаков с 18 до 24 блоков, что дало модели дополнительные возможности для обучения без потери уже усвоенных знаний. Число параметров выросло с 222 млн до 263 млн, при этом все ранее обученные веса были сохранены — новые блоки начинались с нуля.
Для обучения собрали набор из 26,1 тыс. изображений из 10 различных датасетов, включая сцены с камуфляжем, высоким разрешением, портреты и аниме. Каждый источник был ограничен 4 тыс. примеров, чтобы ни один не доминировал, а аннотации (сегментационные маски и альфа-каналы) приводились к единому бинарному формату. Это позволило модели научиться уверенно распознавать и очерчивать объекты в самых разных условиях.
Результаты тестов
Качество работы FeyNoBg измеряли метрикой S-measure (от 0 до 1), которая оценивает как полноту выделения объекта, так и точность формы. Модель сравнивали с лучшими опубликованными результатами на эталонных наборах:
- UHRSD-TE: 0,981 (предыдущий лидер 0,957)
- HRSOD-TE: 0,983 (лучший 0,961)
- DIS5K: 0,961 (лучший 0,951)
- DAVIS-S: 0,977 (лучший 0,975)
- DUTS-TE: 0,941 (лучший 0,949)
- COD10K-TE: 0,912 (лучший 0,923)
- DUT-OMRON: 0,883 (лучший 0,898)
- CAMO-TE: 0,887 (лучший 0,904)
На четырёх бенчмарках FeyNoBg превзошла прежние рекорды, на остальных результаты находятся в пределах 2 % от лидеров. В частности, удалось превратить первоначальное отставание на DIS5K в лидерство за счёт более разнообразной тренировочной смеси.
Библиотека NoBg
NoBg — Python-библиотека, предоставляющая единый интерфейс для запуска и обучения моделей удаления фона. Она поддерживает работу с Hugging Face, включая загрузку модели и использование стандартного Trainer для своей дообучки. По сравнению с оригинальной реализацией BiRefNet, NoBg показывает более высокую пропускную способность, меньшую задержку и пиковое потребление памяти при размерах батча 1, 2 и 4.
Установить библиотеку можно командой pip install nobg. Готовая модель FeyNoBg доступна на Hugging Face, а также опробована в онлайн-демо в Hugging Face Space. Исходный код опубликован на GitHub.
Источник: https://usefeyn.com/blog/feynobg/
Комментарии(0)
Оставьте комментарий
Войдите, чтобы присоединиться к обсуждению