Инструмент интерактивной сегментации для разметки контуров полей и других объектов на основе нейросетевой модели Segment Anything в системе Вега-Science

При проведении дистанционного мониторинга в области сельского хозяйства и картографирования других объектов земной поверхности часто требуются актуальные векторные границы этих объектов. При этом контуры сельскохозяйственных полей со временем меняются, а их ручная разметка достаточно трудоёмка. Ранее в информационной системе Вега-Science (https://ssl.sci-vega.ru) на основе технологии, описанной в (Кашницкий и др., 2015), был создан инструмент для выделения рабочих участков полей. В его основе сегментация снимков Sentinel-2 методом на основе графов (Felzenszwalb, Huttenlocher, 2004). Этот подход требует подбора параметров и плохо переносится на объекты другой природы. Кроме того, обучающие выборки для нейросетевых моделей по-прежнему в основном размечаются вручную.
Новые возможности для интерактивной разметки дают нейросетевые модели сегментации. Модель Segment Anything (SAM) (Kirillov et al., 2023) обучена на наборе из более чем 1 млрд масок. Она выделяет объект по подсказке пользователя (точке или рамке) без дообучения. Тяжёлый кодировщик изображения на основе Vision Transformer запускается для снимка один раз. Лёгкий декодер масок затем отвечает на каждую новую подсказку практически мгновенно. В облегчённом варианте MobileSAM (Zhang et al., 2023) кодировщик содержит более чем в 100 раз меньше параметров, поэтому модель может работать за доли секунды даже без графического ускорителя. Применимость SAM к данным ДЗЗ показана в ряде работ, например (Osco et al., 2023). При этом качество заметно зависит от снимка и вида подсказки.
Данная работа посвящена новому инструменту интерактивной сегментации объектов на спутниковых снимках на основе моделей SAM. Инструмент внедрён в систему Вега-Science (Loupian et al., 2022) для массового автоматизированного создания векторных контуров объектов, прежде всего сельскохозяйственных полей. Сервис реализован на языке Python в виде веб-сервиса на основе FastAPI и вызывается непосредственно из интерфейса системы. Пользователь выбирает изображение и указывает на нём объект точками, рамкой или их комбинацией. Кроме того, доступны режимы с указанием точек исключения вне объекта, а также режим с выделением сразу множества объектов. После этого сервис выполняет цепочку операций на сервере. Сначала он загружает и подготавливает фрагмент изображения для заданной области. Затем выполняется инференс выбранной модели. Полученная маска векторизуется, а её координаты переводятся из пиксельной системы в географическую. Результат возвращается в интерфейс как векторный объект (или объекты для соответствующего режима), который можно отредактировать и сохранить. Загруженные фрагменты изображений кешируются, поэтому повторные запросы к той же области обрабатываются быстрее. Вся обработка выполняется на стороне сервера, и пользователю достаточно доступа к интерфейсу системы.
Для обработки доступны любые изображения из архивов ЦКП «ИКИ-Мониторинг» (Лупян и др., 2019), в том числе сцены Sentinel-2 и безоблачные композитные изображения на их основе (Кашницкий и др., 2022). Также можно использовать подложки сверхвысокого пространственного разрешения. Пользователь выбирает один из трёх вариантов модели: MobileSAM как самый быстрый; более медленный SAM с кодировщиком ViT-B для баланса скорости и качества и наиболее тяжёлый SAM с кодировщиком ViT-H, который даёт наиболее точные границы ценой больших вычислительных затрат.
Инструмент применяется для оцифровки внешних границ полей и их рабочих участков. Он особенно полезен на сложных участках, где классическая сегментация даёт избыточное дробление или ошибочные объединения. Инструмент может использоваться и для разметки других объектов, таких как лесные гари, озёра, карьеры и другие антропогенные объекты. Инструмент может использоваться для ускоренной подготовки обучающих выборок: вместо обводки контура вручную достаточно одного или нескольких щелчков на объекте.
Разработанный инструмент позволяет интерактивно получать векторные контуры полей и других объектов в системе Вега-Science без подготовки обучающих данных и без настройки параметров сегментации. Дальнейшее его развитие связано с переходом на модели следующего поколения, дообучением моделей под конкретные задачи и пакетной обработкой объектов по заданным точкам или ранее оцифрованным контурам.
Работа выполнена с помощью инфраструктуры Центра коллективного пользования «ИКИ-Мониторинг» (http://ckp.geosmis.ru/) (Лупян и др., 2019) в рамках темы ИКИ РАН «Мониторинг» (госрегистрация № 126031818938-6).