Универсальная модель хранения данных с учетом жизненного цикла объектов

Создаваемые в разных организациях по широкому спектру предметных областей базы данных (БД) не имеют единой концептуальной основы и, по большому счету, не совместимы друг с другом. Совместное использование заложенной в них информации становится трудоемким процессом. Для решения этой проблемы необходимо развитие и универсальных моделей данных (УМД) и типовых схем БД. УМД – это стандартная для разных предметных областей схема БД. Попытки создать УМД предпринимаются постоянно. При этом применяется разделение хранения объектов, событий (фактов), таблиц связей и неструктурированных документов по разным сущностям, используется многомерная модель данных. Недостатками этих попыток являются: отсутствие словаря описаний атрибутов, единой схемы хранения классификаторов; слабое использование унифицированных атрибутов метаданных при описании объектов и событий; трудности представления данных в виде временных рядов, профилей и сеток.
При создании УМД используются следующие подходы: выделяются простые объекты (сущности); разделяется вся информация по выделенным объектам на каталоги и факты; учитываются этапы жизненного цикла объектов; используется многомерная модель данных; сохраняются связи между таблицами «Объекты» и «Факты», их экземплярами, объектами, классами объектов; широко используются метаданные.
Факты возникают как результат реализации некоторой программы измерений, которые выполняется в пунктах наблюдений с определенным пространственно - временным регламентом. Атомарной единицей хранения факта является экземпляр данных (совокупность данных), соответствующих однократной реализации программы измерений, вычислений или обобщений в некотором пункте и в какой-то момент (срок) или интервал (сутки, месяц) времени. Каталоги – это мало изменяемая информация о сущностях – метаданные. Каталоги включают справочные сведения о различных классах объектов (метаданные, товары, отходы, документы, др.).
Информация о сущностях представляет собой как отдельные атрибуты (группы атрибутов), так и отдельные самостоятельные объекты метаданных. Многие атрибуты метаданных входят в состав разных объектов метаданных и используются многократно. Это относится к таким объектам, как организации, персоны, библиография и др.
Таким образом, заранее неограниченное многообразие объектов распределяется по следующим сущностям - каталог объектов, включающий технологическую информацию и определяющий состояние всех компонент модели данных; каталог экземпляров объектов; таблицы фактов состояния объекта; классификаторы, в т.ч. словарь атрибутов. Объекты, включаемые в БД, могут быть связаны между собой.
Это позволит при любом расширении набора объектов, атрибутов объектов (метаданных, фактов, связей между ними) не добавлять в структуру данных новую таблицу, поле, а включить в существующие таблицы БД новые записи. Для новых объектов создаются свои таблицы, связь между различными каталогами объектов обеспечивается отдельной таблицей.
Факты могут представляться в виде отдельных точек, в т.ч. временных рядов, сеток, профилей и объектных файлов. Таблица фактов должна включать следующие атрибуты: класс объекта, жизненный цикл объекта, дата и время регистрации значения параметра, идентификатор параметра, значение параметра.
Таблица «Классификаторы» также строится с использованием многомерного подхода и включает идентификатор классификатора, код и значение кода и включает все используемые в модели классификаторы.
Технология создания БД на основе УМД состоит из следующих этапов: анализ предметной области и составление полного списка атрибутов и их свойств для хранения в БД; выделение хранимых объектов (сущностей); определение связей между выбранными объектами; создание каталога объектов; разработка каталога экземпляров для выбранных объектов и таблиц фактов; составление словаря атрибутов, включаемых в выбранные объекты БД; маппинг имен, имеющихся в локальных БД и УМД; анализ, выбор или разработка классификаторов для соответствующих атрибутов; разработка средств загрузки в созданные структуры данных; загрузка БД путем конвертирования локальных структур в УМД; использование готовых или создание собственных приложений.
Представленная универсальная модель данных может использоваться для информации из любой предметной области, включая спутниковую информацию.
Работа выполнена в рамках проекта РФФИ № 07-01-00662-а.