Организация работы с данными архивов ЦКП «ИКИ-Мониторинг» на основе использования интерактивной среды разработки Jupyter Notebook

Интерактивная среда разработки Jupyter Notebook в последние годы находит все более широкое применение для широкого спектра задач, связанных с анализом и обработкой данных, включая данные дистанционного зондирования Земли. Она, как и следующее ее поколение JupyterLab, реализована в виде удобного веб-интерфейса, позволяющего запускать отдельные участки программного кода и в этом же интерфейсе наглядно представлять результаты операций в виде графиков, изображений или таблиц. Этот инструмент особенно хорошо подходит для решения частных задач, связанных с анализом данных, выработкой алгоритмов, проверкой гипотез и т.п. При этом реализованные в среде документы могут быть наглядным и интерактивным представлением полученных результатов и для других исследователей и разработчиков.
Доклад посвящен организации удаленной работы с данными сверхбольших архивов ЦКП «ИКИ-Мониторинг» [1] в среде Jupyter Notebook. В настоящее время на языке программирования Python реализован базовый набор инструментов для получения доступа к данным архивов по месту их физического хранения, а также ко всей необходимой для работы с ними справочной информации. При этом сами операции над данными могут быть проведены на основе сторонних библиотек. В перспективе планируется поддержать использование широкого спектра тематических инструментов для анализа и обработки спутниковых данных [2], разработанных в ИКИ РАН. Также планируется создание программной инфраструктуры, которая позволила бы обеспечить доступ к этой среде широкому кругу исследователей из различных организаций.
Разработка выполняется в рамках темы Минобрнауки РФ «Большие данные в космических исследованиях: астрофизика, солнечная система, геосфера» (№122042500019-6) с использованием возможностей ЦКП «ИКИ-Мониторинг» (http://ckp.geosmis.ru/, [1]), функционирование и развитие которого осуществляется при поддержке Минобрнауки (тема "Мониторинг" № 122042500031-8).