Автоматизация процесса обработки и анализа данных подспутниковых измерений и интеграция их в спутниковую информационную систему «See the Sea»

В рамках данной работы разрабатывается веб-сервис для хранения и обработки данных спутниковых и подспутниковых наблюдений. На данный момент, большая часть измерений предоставляется с экспедиций, которые ежегодно проводятся ИКИ РАН. Предметной областью системы являются океанологические данные, поступающие с приборов: Акустического допплеровского измерителя течений (ADCP), гидрологического CTD-зонда, метеостанции Airmar и дрифтеров.
Серверная часть проекта написана на языке программирования PHP с использованием фреймворка Laravel, пользовательский интерфейс написан на языке JavaScript с использованием фреймворка VueJS. В качестве базы данных используется связка MySQL и MongoDB что, в свою очередь, позволяет хранить в сервисе как числовые измерения, так и изображения с метаданными. Для работы с большими объемами используется система очередей RabbitMQ, позволяя обрабатывать данные асинхронно. Для мониторинга проекта используется Grafana, которая позволяет отслеживать активность и нагрузку системы и баз данных. Платформой для разработки выступает Docker. Он позволяет создавать контейнеры, автоматизировать их запуск и развертывание, управляет жизненным циклом. Он позволяет запускать множество контейнеров на одной хост-машине.
С учетом особенностей типов данных для каждого прибора, в сервисе предусмотрена возможность настраивать процессы импорта и экспорта. Для этого используются скрипты, которые могут быть написаны на разных языках программирования (PHP, Python, GO) и включены в проект извне. Таким образом, можно, например, осветлять изображения перед импортом в базу данных, или, переводить градусы в радианы, или наоборот, при экспорте данных.
В веб-сервисе предусмотрена следующая классификация основных структур: проект, журнал записей, запись. С помощью проектов можно по-разному классифицировать как источники данных, так и сами данные. Журналы, в свою очередь, содержат записи, которые могут классифицироваться по определенном признаку, например, по периоду времени. Запись — это структурная единица, в которой содержатся измерения.
Пользовательский интерфейс состоит из нескольких блоков. Например, блок «Визуализация», который позволяет строить графики-зависимости между измеряемыми показаниями с приборов, например уровень температуры моря на различной глубине, концентрацию хлорофилла-а, солености, мутности в водной толщи. Или, например, блок картографического интерфейса Mapbox для возможности оценки местности исследования, сравнения текущих значений с физическими параметрами, не представленных приборами, например, с показаниями силы и направления ветра.
В проекте предусмотрены встроенные возможности для интеграции в другие спутниковые информационные системы, одной из которых является “See The Sea”, разработанная в ИКИ РАН, в рамках ЦКП «ИКИ-Мониторинг». Таким образом, пользователь получает полную картину проводимых исследований, позволяя накладывать измерения на оптические и радиолокационные данные спутникового наблюдения. Подобная работа также позволяет верифицировать данные спутниковых измерений на основе сравнения результатов с данными in-situ.
Работа выполнена в рамках госзадания по теме «Мониторинг» (госрегистрация № 01.20.0.2.00164).