Интеграция метеорологических данных ERA5-Land и Integrated Forecast System в системы дистанционного мониторинга.

Комплексный анализ разнородных данных лежит в основе мониторинга природных и антропогенных объектов. Совместное использование спутниковой и метеорологической информации позволяет оценивать временную динамику наземных экосистем — например, влияние засухи на растительный покров по временным рядам NDVI с учётом осадков и температуры. Данные о ветре необходимы при наблюдении переноса загрязняющих веществ с прибрежных территорий в акваторию моря.

Для таких задач в ЦКП «ИКИ-Мониторинг» (ИКИ РАН) развивается технология сбора, хранения и анализа метеоданных для систем спутникового мониторинга. Источники данных включают модель Global Forecast System (NCEP), а также данные ECMWF: реанализ ERA5-Land (пространственное разрешение 0,1°, временное — 1 час) и прогнозы IFS (0,25°, 3 часа). В ИКИ РАН рассчитываются прогнозы высокого разрешения (15 и 5 км) по модели WRF с использованием прогнозов NCEP, априорных данных о подстилающей поверхности и рельефе.

Базы данных включают не только исходные метеовеличины, но и производные показатели — гидротермический коэффициент, индексы пожарной опасности, накопленные и средние значения, — а также поддерживают пространственную агрегацию по территориальным единицам.

За время работы опробованы различные подходы к хранению данных. Бинарные форматы GRIB и NetCDF компактны при активном использовании всех переменных, но не позволяют эффективно работать с временными рядами. Реляционные СУБД (например, MySQL) удобны для типовых запросов, однако с ростом разрешения и числа переменных резко увеличивают занимаемое пространство. Эта проблема решается применением колоночной СУБД ClickHouse, оптимизированной для OLAP: она обеспечивает эффективное хранение многомиллиардных наборов записей, высокую скорость агрегирующих запросов и сжатие, оптимизированное для временных рядов, что делает хранение компактнее исходных бинарных форматов. Партиционирование по времени и ключам ускоряет выборки по периодам и географическим областям.

Инструменты анализа метеоданных, включая построение карт и графиков, интегрированы в системы Vega Science, See the Sea, VolSatView и др. Развитие системы связано с расширением набора метеопродуктов и совершенствованием средств совместного анализа разнородных данных.

Работа выполнена в рамках темы ИКИ РАН «Мониторинг» (госрегистрация № 126031818938-6) с использованием инфраструктуры Центра коллективного пользования «ИКИ-Мониторинг» (Лупян и др., 2015)