Организация распределённой автоматической обработки больших массивов спутниковых данных на гетерогенных вычислительных ресурсах

Стремительное развитие систем спутникового мониторинга Земли в последние десятилетия привело к резкому увеличению объемов спутниковых данных различных типов и к необходимости получения на их основе широкого спектра различных информационных продуктов, включая продукты, получаемые по многолетним рядам спутниковых наблюдений. Это в свою очередь приводит к необходимости использования в постоянном режиме больших кластеров вычислительных узлов. Так, в рамках ЦКП «ИКИ-Мониторинг» (1) настоящее время для задач обработки используется около 250 специализированных станций обработки, для эффективного управления работой которых используется система многопотоковой обработки спутниковых данных (2, 3).
Доклад посвящен описанию новой системы централизованного управления обработкой данных на кластере вычислительных узлов Nexus Task Manager, реализованной в ИКИ РАН и внедряемой в настоящее время. Необходимость ее разработки была, в первую очередь, связана с все возрастающими требованиями на масштабируемость, эффективность и отказоустойчивость комплекса обработки спутниковых данных.
Работа выполнена в рамках темы "Большие данные в космических исследованиях: астрофизика, солнечная система, геосфера" (тема "Космос-Д", гос. регистрация 122042500019-6) с использованием возможностей центра коллективного пользования "ИКИ-Мониторинг".