Восемнадцатая Всероссийская Открытая конференция «СОВРЕМЕННЫЕ ПРОБЛЕМЫ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ ЗЕМЛИ ИЗ КОСМОСА (Физические основы, методы и технологии мониторинга окружающей среды, потенциально опасных явлений и объектов)»
XVIII.Z.647
Организация потоковой обработки данных в объединенной системе работы с данными НИЦ «Планета»
Бурцев М.А. (1), Прошин А.А. (1), Матвеев А.М. (1), Мазуров А.А. (1), Кобец Д.А. (1)
(1) Институт космических исследований РАН, Москва, Россия
Объединённая система работы с данными (ОСРД) региональных центров ФГБУ «НИЦ «Планета» была совместно разработана специалистами НИЦ «Планета» и ИКИ РАН и введена в эксплуатацию в 2013 году [1]. Система предназначена для обеспечения специалистов возможностью оперативного прозрачного доступа к распределённым архивам данных, а также их последующей обработки и совместного анализа. На текущий момент система обеспечивает работу с данными более чем 15 отечественных и зарубежных КА, в том числе КА серий «Электро-Л», «Метеор-М», «Канопус-В» и «Ресурс-П» и представляет собой распределённую, модульную веб-ГИС, совмещённую со сверхбольшими архивами данных ДЗЗ прямого доступа.
Настоящий доклад посвящён организации потоковой обработки данных в рамках ОСРД для обеспечения дальнейшей работы с ними в системе. Основной целью потоковой обработки является доведение всех поступающих разнородных данных до единой структуры и формата, позволяющих полноценно использовать возможности архитектуры UNISAT, которая обеспечивает возможности динамической генерации тематических продуктов по запросу пользователя, интерактивной обработки и анализа информации, а также поддержку распределённых архивов.
В работе рассмотрена схема реализованной системы потоковой обработки, построенной по клиент-серверной схеме с централизованной механикой управления, а также получаемые с её помощью результаты. В рамках данной схемы разнородные процедуры обработки связываются в единый контур управления и контроля, что существенно упрощает работу системы. Кроме того, в работе рассмотрены основные данные, которые обрабатываются в рамках системы, а также возможности их дальнейшего использования в результате потоковой обработки, в том числе для предоставления онлайн-сервисов данных для ЦКП "ИКИ-Мониторинг" [2] и большого количества прикладных информационных систем, в том числе "ИСДМ-Рослесхоз" [3], "VolSatView" [4], "Вега-Science" и "Вега-PRO" [5].
Работа выполнена при поддержке Минобрнауки (тема «Мониторинг», госрегистрация № 01.20.0.2.00164) с использованием возможностей центра коллективного пользования «ИКИ-Мониторинг» [2].
Ключевые слова: ОСРД НИЦ "Планета", ЦКП "ИКИ-Мониторинг", потоковая обработка данных, ДЗЗ
Литература:
- Бурцев М.А., Успенский С.А., Крамарева Л.С., Антонов В.Н., Калашников А.В., Балашов И.В., Кашницкий А.В., Лупян Е.А., Матвеев А.М., Прошин А.А. Современные возможности и перспективы развития Объединённой системы распределённой работы с данными НИЦ «Планета» // Современные проблемы дистанционного зондирования Земли из космоса. 2019. Т. 16. № 3. С. 198-212. DOI: 10.21046/2070-7401-2019-16-3-198-212
- Лупян Е.А., Прошин А.А., Бурцев М.А., Кашницкий А.В., Балашов И.В., Барталев С.А., Константинова А.М., Кобец Д.А., Мазуров А.А., Марченков В.В., Матвеев А.М., Радченко М.В., Сычугов И.Г., Толпин В.А., Уваров И.А. Опыт эксплуатации и развития центра коллективного пользования системами архивации, обработки и анализа спутниковых данных (ЦКП «ИКИ-Мониторинг») // Современные проблемы дистанционного зондирования Земли из космоса. 2019. Т. 16. № 3. С. 151-170. DOI: 10.21046/2070-7401-2019-16-3-151-170.
- Лупян Е.А., Барталев С.А., Ершов Д.В., Котельников Р.В., Балашов И.В., Бурцев М.А., Егоров В.А., Ефремов В.Ю., Жарко В.О., Ковганко К.А., Колбудаев П.А., Крашенинникова Ю.С., Прошин А.А., Мазуров А.А., Уваров И.А., Стыценко Ф.В., Сычугов И.Г., Флитман Е.В., Хвостиков С.А., Шуляк П.П. Организация работы со спутниковыми данными в информационной системе дистанционного мониторинга лесных пожаров Федерального агентства лесного хозяйства (ИСДМ-Рослесхоз) // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т. 12. № 5. С. 222-250.
- Гордеев Е.И., Гирина О.А., Лупян Е.А., Сорокин А.А., Крамарева Л.С., Ефремов В.Ю., Кашницкий А.В., Уваров И.А., Бурцев М.А., Романова И.М., Мельников Д.В., Маневич А.Г., Королев С.П., Верхотуров А.Л.Информационная система VOLSATVIEW для решения задач мониторинга вулканической активности Камчатки и Курил // Вулканология и сейсмология. 2016. № 6. С. 1-16. DOI: 10.7868/S0203030616060043
- Лупян Е.А., Барталев С.А., Толпин В.А., Жарко В.О., Крашенинникова Ю.С., Оксюкевич А.Ю. Использование спутникового сервиса ВЕГА в региональных системах дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса, 2014. Т. 11. №. 3. С.215-232.
Презентация доклада
Заседание в АО «Российские космические системы»: «Российская система спутниковых наблюдений и технологий: состояние и перспективы развития»
430