Текущее состояние и перспективы развития подсистемы организации распределенной многопотоковой обработки спутниковых данных ЦКП «ИКИ-Мониторинг»

Стремительный рост числа действующих спутников дистанционного зондирования Земли приводит к резкому увеличению объемов поступающих с них данных. Это приводит к необходимости постоянного наращивания вычислительных мощностей, необходимых для их обработки и анализа. Особую важность при этом приобретает эффективность организации распределенной многопотоковой обработки спутниковых данных. При этом подходы, использованные ранее для управления процессами обработки на десятках вычислительных узлов (Кобец, 2015; Кобец, 2017), плохо подходят для комплексов обработки, включающих в себя сотни таких узлов. Это связано как с ограниченной пропускной способностью сетевого оборудования, которую необходимо учитывать, так и в целом с возрастающей сложностью задачи оптимального распределения заданий на вычислительные узлы с учетом требований по допустимому времени обработки тех или иных данных.
Доклад посвящен описанию текущего состояния подсистемы организации распределенной многопотоковой обработки спутниковых данных ЦКП «ИКИ-Мониторинг» (Прошин, 2023), а также проводимым в настоящее время работам по ее модернизации с целью повышения эффективности ее работы на кластере, включающем в себя более 200 вычислительных узлов. Отдельное внимание также уделено вопросам многоуровневого контроля выполнения, как отдельных процессов, так и заданий по обработки спутниковых данных в целом.
Работы по модернизации рассматриваемой подсистемы выполняются в рамках темы Минобрнауки РФ «Большие данные в космических исследованиях: астрофизика, солнечная система, геосфера» (№122042500019-6) с использованием возможностей ЦКП «ИКИ-Мониторинг» (Лупян и др., 2019), функционирование и развитие которого осуществляется при поддержке Минобрнауки (тема "Мониторинг" № 122042500031-8).