Распознавание особей птиц на видео, полученных при помощи БПЛА

Исследование фауны при помощи методов дистанционного зондирования — современное быстро развивающееся направление находящееся на стыке экологии и геоинформатики. Традиционные методы мониторинга фауны трудоёмки и затратны. Методы, основанные на автоматическом распознавании с помощью БПЛА, предлагают более масштабируемый подход, потенциально подверженный автоматизации. Однако малый размер объектов, высокая изменчивость освещения и подстилающей поверхности, перекрытия и быстрое движение объектов накладывают серьёзные ограничения на применимость этих методов и препятствуют использованию универсальных средств распознавания.

В этом исследовании представлено применение модели детектирования объектов на основе глубокого обучения для идентификации отдельных особей птиц на материалах видеосъёмки с БПЛА. Использованы материалы дистанционного зондирования двух типов: видео в видимом диапазоне и совмещённые видео в тепловом ИК и видимом диапазонах. На основе видеоматериалов была дообучена модель детектирования объектов из семейства YOLO с целью распознавания отдельных особей птиц. Для формирования обучающей выборки кадры видео были аннотированы вручную, а также частично с использованием порогового значения температурного градиента. Результаты валидации модели анализировались раздельно для разных типов подстилающей поверхности и освещения.

Разработанна методика обработки данных, которая включает четыре последовательных этапа: слияние мультимодальных данных, ручное аннотирование, обучение и валидацию модели. На первом этапе в качестве входных данных используются синхронизированные видео в видимом и тепловом ИК диапазонах, получаемые с БПЛА. Выполняется коррекция дисторсии, масштабирование и геометрическое совмещение теплового канала с RGB-видео, после чего тепловой канал добавляется в качестве четвёртого канала, формируя RGBT-видео. Из него извлекаются отдельные кадры, к ним применяется пороговая обработка по температуре, выделяются предположительные ограничивающие рамки отдельных особей птиц, которые экспортируются в формате YOLO и используются в качестве предварительной разметки.

На этапе ручной аннотации кадры и предварительная разметка загружаются в специализированное ПО для разметки ключевых кадров, где оператор отмечает положения птиц. Полученные аннотации интерполируются на все кадры, конвертируются в формат YOLO и разделяются на обучающую, валидационную и тестовую выборки. Далее отдельные кадры обучающей выборки преобразуются в тайлы, на основе которых происходит дообучение модели семейства YOLO. Валидация проводится на тестовой выборке с использованием метода SAHI (Slicing Aided Hyper Inference). Использование разбиения кадра на фрагменты (тайлы) в процессе обучения и применение метода SAHI при детектировании позволяет избежать сжатия изображения при оценке моделью и потери данных, что особенно актуально для увеличения пространственного охвата анализа.

Применение разработанной методики позволяет оценить зависимость качества детектирования от условий съёмки и особенностей подстилающей поверхности. Наши результаты показывают, что эффективность применения тепловизионной съёмки варьируется в зависимости от условий. Высокий контраст тепловых образов птиц относительно растительности значительно улучшает результаты распознавания. Тепловые образы птиц, расположенных на открытом грунте и в воде разбиваются на несколько фрагментов и вносят меньший позитивный вклад в результаты распознавания. Общая оценка детектирования объектов демонстрирует высокий потенциал применяемых технологий, но подтверждает высокую зависимость качества распознавания от условий съёмки.