Распределенная обработка спутниковых радиолокационных данных

Радиолокационные измерения являются уникальной информацией об отражающей способности земной поверхности. Метод спутниковой радиолокационной интерферометрии использует эффект интерференции электромагнитных волн и основан на математической обработке нескольких когерентных амплитудно-фазовых измерений одного и того же участка земной поверхности со сдвигом в пространстве приемной антенны радиолокатора. Преимущество интерферометрического метода перед обработкой оптических стереоснимков заключается в более высокой точности получаемых результатов, достигаемой за счет использования фазовой компоненты отраженного поверхностью радиосигнала.
Разработка действующих месторождений полезных ископаемых, строительство и эксплуатация объектов энергетического комплекса, крупных промышленных предприятий, горных отвалов требует постоянного геодинамического мониторинга за состоянием земной поверхности и техногенных объектов для своевременного предупреждения о возможных авариях и возникающих в результате ЧС. Мониторинг горных и оползневых природных зон позволяет своевременно предупреждать о возможных ЧС природного характера, что позволяет существенно сократить негативные последствия от происшествия. В то же время наземный мониторинг с использованием станций геодинамического контроля не может быть реализован в полном объеме в связи с обширностью контролируемых территорий и, как следствие, высокой стоимостью создания полноценной системы контроля и предупреждения.
В условиях постоянно растущих городов и усложнения конструкций гражданских и промышленных сооружений требуется постоянный мониторинг техногенных объектов, который в настоящее время также реализуется путем выполнения большого объема дорогостоящих наземных измерений. Использование данных дистанционного зондирования Земли позволяет существенно сократить затраты на осуществление контроля за объектами природного и техногенного характера, осуществлять мониторинг всей площади РФ, предупреждать о возможных ЧС в кратчайшие сроки, что позволит принимать меры по предотвращению ЧС или существенному сокращению негативного воздействия.
Таким образом, применение новых методов для мониторинга смещений техногенных объектов, и в частности, на основе радиолокационных данных ДЗЗ является актуальной научно-технической задачей. Потенциал радиолокационных данных способен эффективно решать поставленные задачи по высокоточной оценке смещений на больших площадях и отдельных точечных отражателях.
Исследователям, выполняющим работы по мониторингу за деформациями земной поверхности и смещениями техногенных объектов на основе спутниковых радиолокационных наблюдений, доступно как коммерческое программное обеспечение для интерферометрической обработки (SARScape, GAMMA), так и бесплатное (DORIS, StaMPS/MTI). В последнее время предпочтение отдается методам обработки материалов многопроходной радиолокационной съемки: интерферометрия постоянных отражателей (PSI) и метод коротких базовых линий (SBAS). Такие подходы при наличии достаточного объема исходных радиолокационных данных (от 20 съемок) позволяют достичь точности расчета смещений до первых миллиметров. Обработка большого объема данных занимает значительное время, а с учетом необходимости корректировки параметров, может растянуться на месяц. Использование высокопроизводительного вычислительного кластера может решить проблемы, но такие системы недоступны большинству организаций. В связи с этим задача разработки системы распределенной обработки спутниковых радиолокационных данных способная сократить время обработки и доступная большинству научных организаций является актуальной.
В ходе выполнения работы разработана система распределенной обработки больших объемов данных с использованием ресурсов рабочих станций локальной вычислительной сети одной организации. Система состоит из серверной, вычислительной и клиентской части. Серверная часть контролирует доступные ресурсы вычислительных узлов, распределяет задачи на обработку. Вычислительная часть устанавливается на рабочие станции, входящие в сеть, хранит и запускает подпрограммы для непосредственной обработки данных. Клиентская часть принимает задание на обработку и уведомляет о завершении вычислений. Обмен данными для обработки и также сообщениями между каждым из 3 звеньев системы выполняется через общий дисковый ресурс. Сообщения передаются файлам в формате XML. При разработке системы решены следующие задачи:
1. Исследована производительность доступных библиотек реализующих матричные вычисления, функции линейной алгебры и обработки сигналов (BLAS, LAPACK, FFTW, ATLAS, MKL). В результате выбрана библиотека MKL, являющаяся кросс-платформенной, показавшая наибольшую скорость расчета и содержащая все необходимые процедуры.
2. Реализовано кросс-платформенное программное обеспечение вычислительного узла с возможностью параллельной обработки на основе стандарта OpenMP.
3. Разработана и реализована подсистема оценки (рейтинга) доступности ресурсов вычислительного узла (процессор, оперативная память). Для каждого узла путем выполнения тестовой задачи рассчитываются 3 критерия: скорость обработки, объем доступной оперативной памяти и скорость доступа к общему дисковому ресурсу.
4. Реализовано программное обеспечение серверной, вычислительной и клиентской части.
5. Реализованы алгоритмы дифференциальной интерферометрической обработки, включая импорт исходных данных, совмещение радиолокационных кадров, расчет интерферограммы, оценка топографической компоненты.
Для экспериментальных исследований система распределенной обработки развернута на 4 рабочих станциях Fujitsu-Siemens (4-х ядерный процессора Intel Xeon 3.2 ГГц с технологией гипертрейдинга, ОЗУ 12 Гб). Проведены 2 тестовых испытания: перемножение 2-х матриц размером 50000х50000 элементов (вещественных чисел двойной точности), расчет 29 дифференциальных интерферограмм на основе 30 целых радиолокационных кадров TerraSAR-X/TanDEM-X. При решении обе задачи задействуют все виды ресурсов вычислительного узла: 6 из 8 ядер процессора, все доступную оперативную память, произвольный доступ к дисковой памяти.
Получены следующие оценки производительности для первой задачи. Перемножение матриц без использования системы распределенной обработки заняло 409 минут. С использованием системы и обращением вычислительных узлов к общему дисковому ресурсу: 2 узла – 457мин., 4 узла – 430мин. С использованием системы и кэшированием исходных данных на каждом вычислительном узле: 2 узла – 286мин., 4 узла – 157 мин. Таким образом, при работе предложенной системы в условиях локальной сети, кэширование данных является обязательным.
Расчет 29 дифференциальных интерферограмм с использование ресурсов одной рабочей станции занял 1269 мин. При задействовании системы с предварительным копированием данных: 2 узла – 756 мин., 4 узла – 402мин.
Результаты проведенных экспериментов показали ускорение расчета дифференциальных интерферограмм при применении системы распределенной обработки и использовании ресурсов локальной вычислительной сети. В дальнейшем планируется использовать систему для расчета все возможных интерферограмм (N*N-N)/2, где N-количество исходных кадров, с целью исследования и применения метода локальных короткопериодичных деформаций, описанного в работе [1].
Работа выполнена при финансовой поддержке РФФИ грант №16-37-00224 «Разработка технологии распределенной обработки спутниковых радиолокационных данных»