Подход к исследованию и визуализации наборов данных на примере анализа площади зеркала водохранилищ Республики Крым

Запасы воды в Крыму пополняют из водохранилищ естественного стока и подземных источников. По заявлениям экологов, регулярное использование воды из подземных источников привело к засолению почвы на полуострове.
В 2020 году ситуация с водоснабжением в Крыму стала критической. Маленькое количество осадков и малоснежная зима привела к засухе, утверждают крымские ученые. С конца августа 2020 года графики подачи воды были введены в Симферополе, а также в Симферопольском и Бахчисарайском районах. Позже это коснулось Белогорска и Белогорского района и частично Алушты.
В докладе представлена анимация космических снимков, которая демонстрирует динамику изменений площади зеркала водохранилищ. Анимация создана с помощью геопортала Европейского космического агентства EO-Browser на основе космических снимков с космических аппаратов типа Sentinel-2.
Для оценки изменений зеркала водохранилищ Республик Крым авторами был подготовлен набор космических снимков и проведена тематическая обработка для определения площади зеркала водохранилищ. Для повышения качества визуализации данных было принято решение о применении программного обеспечения Apache Superset.
Общая схема проведённой работы представлена на рисунке.
При проведении анализа наборов данных, в том числе созданных в ходе тематической обработки космических снимков, немаловажную роль играет их правильная визуализация.
Большую часть информации о происходящем вокруг человек получает с помощью глаз. Визуальная информация легче воспринимается, позволяет быстрее донести до зрителя важные мысли и идеи.
Правильно выбранная диаграмма или качественная инфографика помогают обнаружить тенденции или выявить связи, которые были бы незаметны при традиционной обработке накопленных сведений (табличные данные, текст и т.п.).
Цели визуализации — это реализация основной идеи информации, это то, ради чего нужно показать выбранные данные, какого эффекта нужно добиться — выявления отношений в информации, показа распределения данных, композиции или сравнения данных.
Помимо визуализации необходим и выбор правильного и удобного инструмента, который позволит эффективно достичь цели визуализации. В настоящее время, большинство пользователей для визуализации данных применяют стандартные офисные пакеты (Microsoft Office, LibreOffice и т.п.). Однако использование данных программных продуктов не позволяет оперативно обновлять информацию и типы визуализации (графики и диаграммы), а также представлять результаты визуализации пользователям.
Apache Superset - это единый портал, открывающий доступ к аналитическим отчетам и дашбордам (информационным панелям). Каждый отчет может содержать несколько уровней с закладками, что позволяет любому пользователю работать с одним документом по всем сценариям, связанными с анализом информации. Если просто, то Apache Superset – это PowerPoint в WEB-интерфейсе с интеграцией с базой данных.
Apache Superset поможет объединить все данные в виде понятных метрик и наглядных визуализаций, доступных на едином портале. Благодаря поддержке открытых стандартов, легко встраивается в ИТ-инфраструктуру любой компании.
В SuperSet не используются проприетарные технологий и компоненты, связанные с хранением и обработкой данных. Платформа открыта и ориентирована на использование ресурсов внешних СУБД.
Apache Superset позволяет настроить разграничение доступа к функциям системы, отдельным графикам и дашбордам, а также к данным на уровне строк. Система может использовать собственный репозиторий учетных записей или быть интегрирована с LDAP.
Superset обладает готовым набором типов визуализации данных, а также возможностью для добавления кастомных плагинов отображения информации. Наличие большого количества тестовых демо позволяет быстро понять возможности визуализации инструмента.
Superset дает возможность настраивать комплексные правила доступа к данным, отдельным графикам и отчетам, и даже к данным на уровне строк.
Для подготовки данных к визуализации работы в Superset можно использовать SQL Lab, многофункциональную интегрированную среду разработки. Система ориентирована и на работу с любыми другими СУБД.
Представлен пример визуализации данных о площади зеркала Аянского водохранилища с 2015 по 2021 годы. Применялось два типа графиков.
Хотелось бы обратить внимание на графики – прослеживается устойчивая закономерность в изменении площади зеркала водохранилища.
Представлена визуализация сравнения площади Аянского водохранилища в мае за все года, записанные в базу данных.
В докладе представлена информация о полученных площадях зеркала Льговского и Феодосийского водохранилищ. Для Льговского водохранилища наблюдается значительный рост площади зеркала с февраля 2017 года. Площадь зеркала Феодосийского водохранилища начала увеличиваться с февраля 2022 года.
Графики и диаграмма – интерактивные, при наведении на тот или иной элементы отображаются соответствующие значения.
Опыт практического применения Apache Superset для визуализации результатов тематической обработки космических снимков показал эффективность данного метода.
Использование Apache Superset позволило:
1. Автоматизировать визуализация данных после их получения (Нет необходимости вручную строить графики и диаграммы после обновления данных. Это позволяет сократить время, необходимое для выполнение рутинных задач).
2. Гибкая настройка информационных панелей (дашбордов) для эффективной визуализации данных (можно экспериментировать с разными видами графиков и диаграмм для эффективной визуализации данных).
3. Наглядное представление результатов обработки
4. Возможность визуально определить закономерности в данных
5. Большой набор различных видов графиков и диаграмм, в том числе для работы с пространственными данными.
6. Оперативное предоставление информации всем частникам проекта.
Исходя из полученных результатов, авторы планируют продолжить работу в следующих направлениях:
• Расширить набор данных (количество используемых КА, период наблюдений)
• Создать набор метеоданных
• Провести регрессионный анализ для определения зависимости площади зеркала водохранилища от метеоусловий.