Возможности оптимизации хранения временных рядов данных ДЗЗ

Современные научные и прикладные задачи, для решения которых используются данные дистанционного зондирования Земли (ДЗЗ), всё чаще требуют анализа долговременных рядов информации, в том числе восстановленных. Характерные длины таких рядов могут составлять месяцы и даже годы, что приводит к серьёзному увеличению хранимых объемов данных. В зависимости от природы данных, объём восстановленных рядов может вырасти больше, чем в два раза относительно исходных.
Таким образом, всё более актуальной становится задача оптимизации хранения подобных рядов данных для сокращения объёмов хранимой информации и, в то же время, сохранения её качества и измерительных свойств. Этого можно достичь двумя способами: за счёт оптимизации схемы хранения данных либо же использования алгоритмов сжатия растровых данных с потерями качества.
Специфика временных рядов данных такова, что они, как правило, отражают плавно изменяющиеся процессы, в ходе которых изменения каждого следующего значения относительно предыдущего сравнительно невелики. Исходя из этого эффективной оказывается т.н. «разностная» схема хранения данных, в рамках которой хранятся опорные изображения с заданным временным шагом, а в промежутках - разности между исходными и опорными изображениями. Такой подход позволяет существенно снизить объём хранимых данных за счёт резкого снижения размерности и диапазона значений у промежуточных изображений, что сильно увеличивает эффективность работы алгоритмов сжатия.
Другим возможным вариантом оптимизации хранения временных рядом данных является использование алгоритмов сжатия с потерей качества данных. Алгоритм сжатия LERC (Limited Error Compression Algorithm, https://github.com/Esri/lerc) позволяет задавать не целевой объём получаемого файла после сжатия, а максимально допустимый размер ошибки, вносимой в данные при сжатии. За счёт специфики алгоритма достигается потеря размерности хранимых данных благодаря гарантированному переходу от данных любого типа к целочисленным данным и существенному уменьшению словарей для последующего сжатия без потерь, что и приводит к очень высоким степеням сжатия, временами превышающим 50% от исходного объёма данных.
Рассмотрение обоих вариантов, их анализ применимости в реальных задачах и первые результаты применения в рамках Центра коллективного пользования «ИКИ-Мониторинг» (см. Лупян, 2019) приведены в настоящем докладе.
Работа выполнена при поддержке Минобрнауки РФ в рамках темы «Космос-Д», гос. регистрация № 122042500019-6. Работа проводилась с использованием возможностей ЦКП «ИКИ-Мониторинг» (Лупян и др., 2019), включая УНУ "Вега - Science" (Лупян и др., 2021), функционирование и развитие которого осуществляется при поддержке Минобрнауки (тема "Мониторинг" № 122042500031-8).