Универсальная система управления комплексными задачами обработки спутниковых данных TASK JOBS

Эффективность любых систем обработки данных во многом зависит от того, насколько оптимально реализовано управление запусками процедур обработки и контроль за их выполнением. Естественно, это справедливо и для систем обработки данных ДЗЗ, которые, как правило, оперируют большими объемами информации, что требует весьма значительных вычислительных ресурсов. Конкретная реализация системы управления заданиями по обработке спутниковых данных во многом зависит от специфики выполняемых задач, используемого программного обеспечения и операционных систем, установленных на серверах обработки. Это, в частности, привело к тому, что в рамках функционирования ЦКП «ИКИ-Мониторинг» [1] в настоящее время используется целый ряд подобных систем. Основной из них является разработанная в отделе «Технологии спутникового мониторинга» система управления многопотоковой обработкой спутниковых данных [2] на кластере windows серверов, который в настоящее время включает в себя около 100 компьютеров и виртуальных машин. Отдельная система управления заданиями реализована для поддержки работы интерактивных инструментов обработки и анализа спутниковых информации [3], реализованных в рамках веб интерфейсов для доступа к данным ЦКП «ИКИ-Мониторинг». Кроме этого в настоящее время используется ряд частных решений для управления специфическими задачами по обработке данных, в частности, для получения информации по объектам мониторинга, выгрузке данных из больших архивов и др. Наличие ряда различных программных компонент, предназначенных для решения во многом схожих задач, безусловно, усложняет их поддержку и развитие.
В настоящем докладе представлена новая универсальная система управления комплексными задачами обработки данных TASK JOBS. Ключевым ее преимуществом является возможность управления составными задачами по обработке, как спутниковых данных, так и другой информации. Типичным примером такого рода задач является построение композитных спутниковых изображений по большим территориям, фрагменты которых формируются в параллельном режиме на кластере серверов обработки. Также к таким задачам можно отнести и любые другие обработки, которые могут быть выполнены в параллельном режиме и для которых важно получить итоговый результат в заданное время. Таким образом, основной особенностью представленной системы управления является возможность отслеживания не только отдельных заданий по обработке данных, но и их комплектов. При разработке системы TASK JOBS большое внимание было уделено гибкости ее настроек, что во многом обеспечивается использованием JSON структур для описания как отдельных заданий по обработке, так и задач, в которые они входят. Это позволяет использовать эту систему для широкого спектра различных задач. Для взаимодействия с системой в автоматизированном режиме реализован специальный программный интерфейс, а также интерфейс REST API, позволяющий минимизировать требования на программное обеспечение, устанавливаемое на сервера обработки. Также разработан служебный веб интерфейс, позволяющий специалистам конфигурировать задачи и контролировать их выполнение.
В настоящее время система TASK JOBS внедрена для решения ряда задач, связанных с получением долговременных рядов данных по спутниковым наблюдениям, которые используются в подсистеме анализа данных в виде графиков. В перспективе планируется использовать ее для всех специфических задач по обработке данных.
Работы по развитию технологий управления обработкой данных сверхбольших архивов спутниковой информации с 2019 года выполняются в рамках темы Минобрнауки РФ «Большие данные в космических исследованиях: астрофизика, солнечная система, геосфера» (№122042500019-6) с использованием возможностей ЦКП «ИКИ-Мониторинг» (http://ckp.geosmis.ru/).