Опыт использования GRID-технологий в системе обработки данных Спутникового Центра ДВО РАН

В настоящее время GRID-сеть Приморского научного центра объединяет ряд вычислительных систем различной архитектуры. Общая производительность ресурсов сети оценивается в 1ТФлоп. Интеграция вычислительных ресурсов реализована с использованием пакета Globus Toolkit и набора базовых сервисов: GRAM – сервис запуска и управления выполнением заданий пользователей, RFT – сервис управления передачей файлов между ресурсами GRID-сети, MDS – сервис мониторинга ресурсов и GridWay – сервис планирования и распределения ресурсов для выполнения прикладных задач. В рамках каждого вычислительного ресурса функционирует локальная система управления задачами пользователей, которая отвечает за физическое планирование задачи на конкретные вычислительные узлы. Взаимосвязь локальных систем управления задачами каждого кластера и GRID-сервисов образуют гетерогенную распределенную вычислительную среду, ориентированную на широкий класс задач.
Для решения конкретных задач, связанных с обработкой спутниковой информации, была предложена и реализована следующая схема работ. В GRID-сеть Приморского научного центра был внедрен дополнительный узел доступа для выполнения вспомогательных функций: подготовка файлов с первичной необработанной спутниковой информацией, обращение к основному планировщику GRID-сети для запуска соответствующей задачи обработки на доступных ресурсах, получение обработанных файлов и их последующее размещение в основном архиве спутниковой информации. Все перечисленные функции реализованы в виде командного файла, которому в качестве входных параметров указываются набор необходимой спутниковой информации и тип алгоритма обработки. Дальнейшее выполнение всех действий осуществляется автоматически. Выходной информацией командного файла есть уникальный идентификатор задачи, полученный от сервиса планирования GridWay, с помощью которого можно отследить текущее состояние ее выполнения. Таким образом, работа конечного пользователя сводится к формированию необходимого перечня входных параметров для командного файла и запуску его на исполнение. Дополнительно к командному файлу реализован программный интерфейс запуска, позволяющий интегрировать представленную схему работы в автоматизированную систему обработки спутниковой информации.
Одним из наиболее вычислительно ёмких элементов обработки спутниковых данных требующих переноса в среду GRID является построение полей ДОТК (доминантных ориентаций термических контрастов). Поскольку ДОТК можно рассматривать как оценки направлений течений на спутниковых инфракрасных изображениях океанские вихри, струи и фронты ярко проявляются в поле поверхностных температур. Конкретный вид термической структуры определяется сдвиговым характером течений – изменчивостью величины скорости поперек потока. Это приводит к вытягиванию термических контрастов вдоль потока и высокой корреляции направлений изотерм и скоростей. Для получения количественных оценок этого явления был предложен и реализован алгоритм визуализации термических структур поверхности океана на основе метода ориентированных текстур.
Так как значение ДОТК в точке зависит только от температур точек окрестности, а размер окрестности (точный или максимальный, в зависимости от способа вычисления ДОТК) известен до начала вычислений, можно было использовать метод распараллеливания по данным. При этом были созданы программные средства, разделяющие исходные изображения на примерно равные части с наложением частей друг на друга, и объединения результатов работы алгоритма.

Работа выполнена при поддержке грантов РФФИ №08-07-00227-а и №06-01-96915_р-офи, а также грантов ДВО РАН №06-I-П14-052 и №07-I-П15-140.