Инфраструктура обработки спутниковых данных ИВТ СО РАН

В докладе представлены технические решения, обеспечивающие выполнения научных исследований с использованием данных дистанционного зондирования в ИВТ СО РАН. Для обработки и анализа геопространственных данных используется программно-аппаратный комплекс на основе вычислительного кластера, сетевой системы хранения Isilon, системы потоковой обработки спутниковых данных и технологии отображения файлового архива в систему hVault.

К системе потоковой обработки спутниковых данных относятся программные модули для передачи данных с приёмных комплексов и сигнализации о получении новых данных спутникового мониторинга. Все поступающие данные, а также полученные на их основе информационные продукты, сохраняются в файловом архиве. Технологические цепочки получения продуктов высоких уровней реализуются оригинальным комплексом, построенном на основе системы Taverna (Hull et al., 2006). За счет декларативного представления цепочки обработки в виде независимых модулей, отвечающих за получение каждого продукта, и связывающего их графа потоков данных, обеспечивается автоматическое распараллеливание и эффективная балансировка нагрузки между узлами кластера. Помимо ускорения за счет параллельного выполнения этапов, наличие информации о передаче данных позволяет снизить нагрузку на систему хранения данных путем размещения задач работающих с одними теми же данными на одном узле. Данная система успешно применяется для оперативной и архивной обработки спутниковых данных, получаемых с платформ Terra, Aqua и NPP.

Технология hVault призвана повысить эффективность работы с данными дистанционного зондирования путем повышения уровня абстракции и перехода от работы с отдельными файлами снимков к работе с единым многомерным информационным пространством, представленным в виде набора виртуальных таблиц реляционной базы данных. В используемой реляционной структуре, каждому пикселю спутникового изображения ставится в соответствие кортеж, содержащий его географические координаты, время наблюдений и последовательность значений измеренных величин. Такое представление данных и возможность выполнения к ним SQL-запросов значительно упрощает работу одновременно с большим числом спутниковых снимков, например при работе с данными, имеющими не только пространственное, но и временное измерение. Предложенный принцип реализуется модулем для расширения СУБД PostgreSQL, основанном на технологии Foreign Data Wrapper (FDW). Модуль обеспечивает отображение файлового архива спутниковых снимков в виртуальные таблицы СУБД без изменения формата хранения данных, что обеспечивает их компактное представление и уменьшает нагрузку на систему хранения, связанную с чтением данных с диска. Использование стандартного языка запросов SQL, предоставляет исследователям большое количество различных программных инструментов как для извлечения данных, так и для инициирования их обработки средствами СУБД: это интерактивные системы анализа данных, такие как Jupyter (интерактивная оболочка на основе интерпретатора IPython); языки программирования, поддерживающие работу с базами данных; настольные ГИС и др. В работе обсуждаются возможности технологии hVault для решения задач мониторинга окружающей среды на нескольких примерах.

Работа выполнена при поддержке гранта РФФИ 13-07-12105 офи_м