Проблемы поддержки и развития ЦКП «ИКИ-Мониторинг» - возможные направления решения

В настоящее время ЦКП «ИКИ-Мониторинг» [1] предоставляет уникальные возможности для эффективной работы с данными дистанционного мониторинга Земли для решения различных научных и прикладных задач. Суммарный объем данных, находящихся в режиме непосредственного доступа превышает 2,5 петабайта, а в сутки в архивы поступает более 2 терабайт новых данных. Основными источниками поступления информации являются мировые центры распространения спутниковых данных, такие как USGS/NASA и ESA. Благодаря сотрудничеству ИКИ РАН и НИЦ «Планета» [2] пользователи центра имеют также возможность работы с данными, получаемыми некоторыми российскими системами наблюдений. Возможностями ЦКП «ИКИ-Мониторинг» сейчас пользуются более 80 различных научных организаций, что позволило реализовать целый ряд различных научных информационных систем. По объемам данных, находящимся в online-доступе, ЦКП «ИКИ-Мониторинг» входит сегодня в первую десятку мировых центров предоставления доступа к информации дистанционного мониторинга. По реализованному функционалу, обеспечивающему распределенный анализ и обработку данных, он является ведущим центром в России и конкурирует с передовыми мировыми системами.

Практика разработки и эксплуатации ЦКП «ИКИ-Мониторинг» показывает, что развитие таких центров и обеспечение их возможностей только за счет инфраструктуры одной организации, пусть даже и достаточно крупной, имеет значительные недостатки, связанные как с устойчивостью работы системы, так и с оптимальностью доступа к ее ресурсам. Также сказывается ограниченность материальных и людских ресурсов, необходимых для расширения возможностей центра и поддержки его функционирования. Поэтому остро встает вопрос поиска новых вариантов развития ЦКП и перевод его на модель распределенного построения, ориентированную на создание информационных узлов ЦКП в крупных научных и образовательных центрах, а также центрах приема и обработки спутниковых данных. Переход на такую модель построения ЦКП в перспективе может позволить создать объединенный центр коллективного пользования, в поддержке и развитии которого будут участвовать различные научные и образовательные организации. Это, по нашему мнению, приведет к существенно большей кооперации различных научных коллективов и повысит эффективность проведения исследований, а также существенно улучшит устойчивость работы центра. Поэтому наиболее перспективным направлением развития ЦКП «ИКИ-Мониторинг» мы считаем создание территориально распределенных центров различной тематической направленности, что позволило бы рассредоточить и существенно расширить ресурсы и возможности центра и, как результат, более эффективно решать его основные задачи.

Еще одним перспективным направлением развития ЦКП «ИКИ-Мониторинг» является использование современных технологий построения распределенных файловых систем и кластерной обработки данных, таких как Hadoop и различные платформы, построенные на основе использования объектных хранилищ S3. Основным преимуществом таких технологий является высокая степень масштабируемости, что с учетом развития современных информационных технологий и систем ДЗЗ является весьма актуальным [3]. В частности, объемы спутниковых данных настоящее время растут год от года практически экспоненциально [3].

В докладе приводятся краткие сведения о текущем состоянии ЦКП «ИКИ-Мониторинг». На основе анализа возможных путей развития центра обосновывается утверждение, что приоритетным направлением роста может стать постепенный переход на распределенную организацию ЦКП. Представлен примерный облик распределенной реализации центра, включая возможный состав информационных узлов, специфику их аппаратной комплектации и модернизацию схем получения, обработки и предоставления доступа к данным. В докладе также рассматриваются вопросы создания создания отказоустойчивых узлов доступа к спутниковым данным ДЗЗ. Отдельное внимание уделено вопросам внедрения современных информационных технологий, в частности, облачных файловых систем и кластерных систем обработки данных.
Работа выполнена в рамках темы "Большие данные в космических исследованиях: астрофизика, солнечная система, геосфера" (госрегистрация №0024-2019-0014), c использованием ресурсов ЦКП «ИКИ-Мониторинг» [1, 4].