Архитектура и текущие возможности кластера для GPU-вычислений в составе ЦКП «ИКИ-Мониторинг»

Центр коллективного пользования системами архивации, обработки и анализа данных спутниковых наблюдений Института космических исследований Российской академии наук для решения задач изучения и мониторинга окружающей среды (ЦКП «ИКИ-Мониторинг») функционирует с 2012 года. За это время центр стал одним из крупнейших ресурсов для работы с данными дистанционного зондирования Земли в стране. В 2025 году были начаты работы по созданию в составе центра выделенного кластера для GPU-вычислений, который позволил бы эффективно решать задачи, связанные с нейросетевыми расчётами и глубоким обучением в целом, для всего массива данных, накопленных в архивах ЦКП. В 2026 году была введена в строй его первая очередь.
В докладе рассматривается базовая архитектура созданного кластера, построенная на связке Docker - Kubernetes – S3 (Ceph) под управлением автоматизации на основе Git и системы доставки и интеграции CI/CD. Docker обеспечивает изоляцию программного кода проекта пользователя и максимально облегчает его переносимость в кластер для вычисления. Git в данной системе позволяет обеспечить ведение репозиториев программного кода пользователей, их моделей и контейнеров с учетом сохранения предыдущих версий для возможности отката, а также обеспечить автоматизацию CI/CD-процедур для запуска, организации событийной обработки или регулярной обработки на кластере с использованием GPU-ресурсов. Kubernetes обеспечивает балансировку выполняемых контейнеров на вычислительных узлах и ведение очереди выполнения заданий. S3-хранилище, реализованное на базе Ceph, обеспечивает высокоскоростной и резервированный доступ к данным для обучения и работы кода каждому пользователю.
Кроме того, в рамках кластера реализована архитектура доступа к действующих архивам ЦКП «ИКИ-Мониторинг» с помощью специализированной программной библиотеки (фреймворка) для python. Она позволяют производить поиск и фильтрацию данных, в том числе в терминах коллекций, используемых в Google Earth Engine, а также работать с найденными данными в режиме скачивания на локальное хранилище или прямого чтения из удалённого архива для передачи в программный код без промежуточного сохранения. В заключении доклада приводятся возможные сценарии использования кластера и реальные примеры их реализации.
Работа выполнена с использованием мощностей ЦКП "ИКИ-Мониторинг" (Лупян и др., 2019) в рамках темы Минобрнауки "Космос-Д", номер государственной регистрации 122042500019-6.