Разработка алгоритмического и программного обеспечения для проектирования и поддержки регионального банка цифровой геологической информации

На протяжении всей истории развития баз данных (БД), компании, участвующие в процессе получения геолого-геофизических данных (разведывающие, добывающие, ведущие интерпретацию информации и т. д.) организовывали их хранение, в первую очередь, для дальнейшего использования в своих целях. При этом во многих случаях при организации геолого-геофизических банков данных (БнД) приоритет отдавался либо ограниченным локальным геологическим объектам, но с огромной степенью детализации геолого-геофизических данных (геоданных), например объекты нефтеи газодобычи, либо хранению данных по укрупненной изучаемой геологической территории с соблюдением двух тенденций [18, 28, 46].

Все это привело к тому, что, имея цифровые данные, хранимые в разных информационных системах, решать задачи относительно геологического региона в целом и принимать решения по отдельным геологическим объектам, основанные на всей совокупности цифровых данных по региону, практически невозможно (временные и финансовые затраты очень велики). Кроме того, при увеличении объемов получаемой фактографической информации (данные исследований) затраты на ее хранение стали возрастать. При этом основные статьи расходов связаны с защитой ретроспективных данных от разрушения.

При появлении средств, позволяющих организовать крупные банки фактографической геолого-геофизической информации с неограниченными объемами данных, с первой половины 90-х годов в ряде стран, в том числе и в России, начался процесс объединения локальных БД нефтяных компаний и создание Государственных банков данных на нефть и газ [30, 59, 74, 82]. Однако, несмотря на организацию в ряде стран Государственных БнД на углеводородное сырье и наличие банков геолого-геофизических данных локального (производственного) уровня, проблема создания Региональных БнД по геологии нефти и газа решается крайне неудовлетворительно.

Анализ современного состояния проблемы разработки высоконадежного и эффективного Регионального банка цифровой геологической информации, охватывающего какой-либо геологический регион в целом, позволяет сделать вывод о том, что актуальность данной темы определяется [8, 23, 26, 53, 55, 59]:

1. тем, что комплексная оценка природных ресурсов, контроль и управление их использованием, охрана и воспроизводство в пределах нефтегазоносного региона федеральными органами, возможна только при создании и эффективным использованием Регионального банка цифровой геологической информации;

2. необходимостью в укрупнении информационных геологических ресурсов, в восстановлении ретроспективной геологической информации, оперативном и быстром информационном обмене между участниками геологических исследований в регионе;

3. отсутствием БнД регионального уровня на углеводородное сырье. Таким образом, оценив мировые тенденции и состояние проблемы создания Региональных БнД, с 1994 года специалисты Западно-Сибирского геологического научно-аналитического центра (ЗапСибГеоНАЦ) усилили интенсивность работ по проектированию Регионального банка цифровой геологической информации по геологии нефти и газа и недропользованию (в дальнейшем РБЦГИ-УВ или Региональный БнД) [1, 3, 4, 13, 19, 37, 53, 55]. Именно результаты, полученные в ходе выполнения этих научно-исследовательских работ, послужили основой при принятии на 10-м рабочем совещании по созданию и развитию Государственного банка цифровой геологической информации (ГБЦГИ) (16 — 19 декабря 1997 г., г. Королев) решения о разработке типового РБЦГИ-УВ.

Исследования и разработки по теме диссертационной работы проводились в рамках Федеральной целевой программы развития минерально-сырьевой базы Российской Федерации на 1994 — 2000 гг.

Цель работы и задачи исследования. Целью диссертационной работы является разработка концепции, алгоритмических и программных средств, обеспечивающих проектирование и эффективную работу РБЦГИ-УВ. Для достижения этой цели в работе решаются следующие задачи:

1. разработка концепции построения Регионального БнД;

2. формализация, моделирование и исследование процессов выполнения запросов пользователей РБЦГИ-УВ к данным с целью выявления времени выполнения операций в зависимости от количества клиентов БнД и получения рекомендаций по их работе с РБЦГИ-УВ;

3. разработка инфологической и даталогической моделей предметной области с учетом пространственных свойств фактографической геолого-геофизической информации;

4. разработка оригинального алгоритмического и программного обеспечения, позволяющего организовать корректное функционирование РБЦГИ-УВ.

Апробация работы. Основные результаты докладывались и обсуждались на: I Всероссийском учебно-презентационном семинаре «Геоинформатика в нефтегазовой области» (г. Москва, 13−17 апреля 1998 г.) — Всероссийской научно-практической конференции «Основные направления совершенствования деятельности организаций МПР России по формированию и использованию государственных информационных ресурсов» (г. Москва, 1618 июня 1998 г.) — III Всероссийской учебно-практической конференции «Организация, технология и опыт ведения кадастровых работ» (г. Москва, 2327 ноября 1998 г.) — Всероссийской научно-практической конференции «Интегрированные информационные системы управления территорией» (г. Тюмень, 19−21 января 1999 г.) — Всероссийской научно-практической конференции «Геоинформатика в нефтегазовой и горной отраслях» (г. Нижневартовск, 06−08 апреля 1999 г.) — Межрегиональной конференции «III века горно-геологической службы России» (г. Томск, 18−23 сентября 2000 г.).

Алгоритмические и программные средства РБЦГИ-УВ демонстрировались на ВВЦ в рамках Всероссийской выставки «Технические средства и технологии геологоразведочных работ» (г. Москва, 14−20 декабря 1999 г.) и были награждены дипломом (прил. 7).

По результатам диссертационной работы опубликовано 7 работ.

Личный вклад:

1. концепция построения РБЦГИ-УВ на промышленной программно-аппаратной платформе с применением ГИС-технологий и основные принципы создания инфологической модели предметной области разработаны автором совместно с Горбачевым И. В. и Шаталовым Г. Г.;

2. постановка задачи исследования процессов выполнения пользователями БнД операций над данными осуществлена авторомее решения с применением аппарата PS-сетей получены совместно с Сарайкиным А.В.- анализ результатов исследований проведен автором;

3. инфологическая и даталогическая модели предметной области созданы совместно с Абубакировой Н. Н., Горбачевым И. В., Копелевым Ю. С., Моховой Т. А., Смагиной Р. С., Шаталовым Г. Г. и Шуниной О. Г., при этом разработка способов представления пространственных свойств геолого-геофизических объектов и пространственных данных осуществлена совместно с Горбачевым И. В.;

4. идея, постановка задачи и алгоритмы работы репозитория пространственных данных принадлежат автору, программная реализация осуществлена Горбачевым И. В.;

5. формулировка основных этапов, обеспечивающих переносимость разработанной инфологической модели предметной области в стандарт POSC Epicentre, осуществлена совместно с Ефремовым В. А.;

6. алгоритмы, обеспечивающие подготовку и обмен информацией между пользователями РБЦГИ-УВ, хранилищами данных и абонентским пунктом, предложены авторомих программная реализация выполнена совместно с Абубакировой Н. Н. и Горбачевым И. В.;

7. постановка задачи на разработку программного обеспечения серверной и клиентской компонент РБЦГИ-УВ осуществлена автором, а разработка программ осуществлена Абубакировой Н. Н., Горбачевым И. В., Моховой Т. А. и Шуниной О. Г.;

8. программное обеспечение клиентских мест РБЦГИ-УВ, основанное на применении ГИС-технологий, создано Горбачевым И. В., однако постановка задачи на разработку программных средств и средств комплексной визуализации геоданных и алгоритмы принадлежит автору.

Диссертационная работа представлена пятью главами. Изложим их основное содержание.

В первой главе диссертационной работы на основе анализа отечественной и зарубежной литературы приведен обзор существующих и создаваемых банков фактографической геолого-геофизической информации по углеводородному сырью государственного, территориального и локального уровней.

Поскольку БнД неразрывно связан с организацией хранения информации, рассмотрены используемые решения при организации хранилищ геоданных, клиентской составляющей БнД государственного уровня, используемых базовых программных средств, включая географические информационные системы (ГИС).

При анализе реализованных подходов к управлению данными были рассмотрены различные методы доступа к хранимой в БнД информации, способы ее отображения, защиты геоданных от разрушения и несанкционированного доступа. Значительное внимание уделено стандартам представления в БнД фактографической геолого-геофизической информации и инфологическим моделям предметной области.

Анализ проблемы создания БнД регионального уровня позволил сформулировать цель и основные задачи, решаемые в диссертационной работе.

Во второй главе излагается концепция построения РБЦГИ-УВ.

Представлены концептуальные аспекты построения структуры РБЦГИ-УВ, возможные типы хранилищ фактографических геоданных, а так же механизмы их взаимодействия между собой на уровне данных. Предложена обобщенная информационная модель предметной области и базовая технология функционирования Регионального БнД.

В третьей главе проводятся исследования процессов выполнения пользователями БиД операций над данными.

Обоснован выбор инструмента исследования и введены основные понятия, определения и правила функционирования PS-сети.

Разработана обобщенная модель в терминах PS-сети для описания процессов выполнения запросов пользователей БнД. Обоснована адекватность описываемых моделью процессов процессам, протекавшим в реальной системе.

Выявлены аналитические зависимости верхней границы времени выполнения операций от количества клиентов БнД для двух случаев: без учета и с учетом блокировки одной и той же записи. Проверка достоверности выведенных аналитических зависимостей осуществлялась на основе методов анализа аппарата PS-сетей, а именно алгоритма построения дерева достижимости, реализованного в инструментальной системе моделирования параллельных процессов «Parallax» .

На основе аналитических зависимостей были определены верхние границы времени выполнения операций для конкретных базовых программно-технических средств. По результатам исследований принят ряд важных проектных решений.

В четвертой главе диссертационной работы содержится описание основных принципов построения инфологической модели предметной области. Особое внимание уделено способам представления пространственных, массивных и табличных фактографических геолого-геофизических данных.

Рассмотрены вопросы описания репозитория данных, представляющего собой метаописание физической реализации хранилищ Регионального БнД. Предложены конкретные пути перехода к реляционной реализации разработанной инфологической модели предметной области и к международному стандарту Petrotechnical Open Software Corporation (POSC) в области разведки и разработки месторождений углеводородов.

Учитывая особенности реляционной реализации инфологической модели предметной области, разработана даталогическая модель, используемая в РБЦГИ-УВ.

Пятая глава посвящена описанию разработанных алгоритмических и программных средств РБЦГИ-УВ, обеспечивающих корректное и эффективное функционирование БнД.

Описаны физически реализованные хранилища РБЦГИ-УВ табличной, массивной и пространственной информации.

Предложены оригинальные алгоритмы функционирования как серверной, так и клиентской составляющей РБЦГИ-УВ.

Приведена структура программного обеспечения (ПО), используемого для формирования РБЦГИ-УВ и для обеспечения поиска, заказа и доставки информации на клиентское место в режиме «База данных «проекта».

Представлены особенности инсталляции и эксплуатации РБЦГИ-УВ. Научную новизну полученных в работе результатов определяют:

1. концепция построения РБЦГИ-УВ, позволяющая проектировать его на основе промышленных программно-аппаратной платформы и ГИС-технологии;

2. обобщенная модель РБ-сети, представляющая процессы выполнения пользователями операций над данными в БнД, и полученные с ее помощью результаты моделирования, используемые для принятия проектных решений при создании РБЦГИ-УВ и разработки методики эффективной его эксплуатации;

3. аналитические выражения для определения предельных значений времени выполнения операций над данными при учете и без учета состояний блокировки одной и той же записиэти выражения позволяют оценить наихудшие временные границы в многопользовательском режиме работы БнД при заданных базовых программно-технических средствах;

4. инфологическая и даталогическая модели предметной области, разработанные на основе архитектурного принципа разделения объектов, их свойств и процессов получения этих свойств, позволяющие организовать хранение и комплексно использовать табличные, массивные и пространственные геоданные;

5. принципы создания и алгоритмы функционирования репозитория данных, предназначенного для описания реализации хранилищ геоданных;

6. алгоритмы, позволяющие организовать подготовку и обмен геоданными между пользователями РБЦГИ-УВ, хранилищами данных и абонентским пунктом, а также доступ к фактографическим геоданным. Практическая ценность и реализация результатов работы. Практически значимыми являются созданные информационные модели, алгоритмы и программные средства РБЦГИ-УВ, а также рекомендации по его эксплуатации. Базовое программное обеспечение (СУБД Oracle8 Enterprise Edition, ГИС Arc/Info v. 7.2.1) и разработанные программные средства РБЦГИ-УВ функционируют на платформах SUN Enterprise 450 с ОС Solaris 2.7 и персональных компьютерах с процессором не ниже Pentium с ОС не ниже Windows 95. Программные средства РБЦГИ-УВ разработаны в среде DEVELOPER/2000, ГИС Arc/Info и Arc View, с использованием языков С++, Avenue, AML, SQL*Plus и PL/SQL. Объем разработанных программных средств составил более 4700 операторов для серверной составляющей РБЦГИ-УВ и более 91 000 операторов для клиентской составляющей.

Разработанный Региональный БнД в полном объеме был инсталлирован в Западно-Сибирском геологическом научно-аналитическом центре (г. Тюмень), Красноярском Региональном информационно-компьютерном центре (г. Красноярск), Главном научно-исследовательском вычислительном центре (г. Москва), Нижне-Волжском научно-исследовательском институте геологии и геофизики (г. Саратов), Северном информационно-геологическом центре (г. Архангельск). В Комитете природных ресурсов по Тюменской области (г. Тюмень) внедрены алгоритмическое и программное обеспечение клиентской части РБЦГИ-УВ, основанной на применении ГИС. Получены соответствующие акты внедрения (прил. 1−6).

Основные положения, выносимые на защиту:

1. разработанная концепция построения РБЦГИ-УВ позволяет проектировать и создавать эффективные БнД регионального уровня на углеводородное сырье;

2. предложенная обобщенная модель на основе аппарата PS-сетей, описывающая выполнение пользователями операций над данными в БнД, полученные на ее основе результаты моделирования и полученные аналитические зависимости верхней границы времени выполнения этих операций позволяют иметь достоверные оценки максимального времени выполнения операций над данными в зависимости от количества клиентов БнД и технических характеристик его базовых программно-технических средств;

3. созданные инфологическая и даталогическая модели предметной области дают возможность пользователям БнД наряду с табличными и массивными геоданными равноправно представлять и оперировать пространственными геоданными;

4. разработанные алгоритмические и программные средства РБЦГИ-УВ позволяют создать надежную, эффективную и безопасную клиент-серверную технологию работы с геоданными на региональном уровне. Автор считает своим приятным долгом выразить благодарность за помощь в подготовке диссертационной работы коллегам из отдела «Информационных технологий и баз данных» ЗапСибГеоНАЦ, помогавшим в реализации намеченных идей — Абубакировой H.H., Горбачеву И. В., Моховой Т. А. и Шуниной О. Г., а так же заместителю генерального директора ЗапСибГеоНАЦ к.г.-м.н. Шаталову Г. Г. за ряд ценных замечаний и предложений после просмотра первого варианта диссертации. Автор благодарит коллектив кафедры Вычислительной техники Института Кибернетический центр Томского политехнического университета и особенно Сарайкина A.B. и Мирошниченко Е. А. за предоставленную возможность использовать при проведении исследований систему моделирования «Parallax». Автор выражает глубокую признательность научному руководителю — д.т.н., профессору Маркову Н. Г. за оказанную ему помощь при обсуждении результатов и написании диссертации.

5.4. Выводы по главе.

В данной главе изложены алгоритмические, программные и технологические аспекты реализации РБЦГИ-УВ. При этом можно сделать следующие выводы:

1. разработаны алгоритмы, обеспечивающие выполнение ограничений согласованности, регламентированных инфологической моделью предметной областиформирование базы метаданных РБЦГИ-УВ, без состояния «мутации» триггеров и с обработкой каждого события двумя триггерамиперенос информации из центра подготовки данных в хранилище табличных данных РБЦГИ-УВ без выполнения процедур, связанных с выгрузкой данных на внешние носители информацииподдержку «БД «проекта» независимо от любых изменений, проводимых над данными, расположенными в хранилище табличных данных РБЦГИ-УВ, и подготовку пространственных данных при наличии дополнительных к территориальным критериям условий выборки информации. Все алгоритмы успешно реализованы в серверной составляющей РБЦГИ-УВ;

2. разработаны алгоритмы обеспечивающие загрузку массивных данных в РБЦГИ-УВ на основе единого описателя форматов данных и построение дерева доступа к фактографическим данным, расположенным в хранилищах РБЦГИ-УВ, на основе использования репозитория данных. Все алгоритмы успешно реализованы в клиентской составляющей РБЦГИ-УВ;

3. создано программное и технологическое обеспечение хранилищ РБЦГИ-УВ, обеспечивающее процессы защиты, накопления, управления, интеграции и согласования фактографической геоинформации;

4. разработаны программные средства ведения РБЦГИ-УВ и средства пакетной загрузки данных в БнД, обеспечивающие замкнутый цикл формирования БнД фактографическими данными по всем БД РБЦГИ-УВразработано в среде ГИС Arc/Info и ArcView ПО, выполняющее функции поиска, доступа, комплексной визуализацией, формирования заказа на получение и доставку информации клиенту;

5. РБЦГИ-УВ, разработанный с применением современных.

156 промышленных ГИС и СУБД, прошел опытную эксплуатацию в ЗапСибГеоНАЦ и внедрен в различной конфигурации в ряде организаций, выполняющих работы по накоплению фактографических геоданных по геологии нефти и газа и управлению недрами, среди них Комитет природных ресурсов по Тюменской области (г. Тюмень) — Красноярский РИКЦ (г. Красноярск), ГлавНИВЦ (г. Москва), Нижне-Волжский научно-исследовательский институт геологии и геофизики (г. Саратов) и Северный информационно-геологический центр (г. Архангельск).

Заключение

.

Диссертационная работа посвящена созданию Регионального банка цифровой геологической информации по геологии нефти и газа и недропользованию (РБЦГИ-УВ). В ходе решения этой задачи получены следующие основные научные и практические результаты:

1. разработана концепция построения РБЦГИ-УВ, которая предусматривает выделение хранилищ данных по их видам, использование промышленных программно-аппаратной платформы компании SUN Microsystems, СУБД Oracle и ГИС-технологии фирмы ESRI, а также предусматривает переносимость инфологической модели предметной области в стандарт POSC Epicentre;

2. разработана обобщенная модель PS-сети для описания процессов выполнения запросов к данным пользователями БнД, позволяющая адекватно представлять процессы, протекающие в реальной системерезультаты экспериментов с использованием этой модели позволили принять ряд обоснованных решений при проектировании РБЦГИ-УВ и рекомендаций по его эксплуатации;

3. выявлены аналитические зависимости верхней границы времени выполнения операций над данными пользователями БнД при учете и без учета состояний блокировки одной и той же записи, позволяющие провести оценки времени выполнения операций над данными в проектируемом РБЦГИ-УВ при заданных базовых программно-аппаратных средствах;

4. созданы расширенная инфологическая и даталогическая модели предметной области, основанные на принципе функционально-структурного разделения объектов, их свойств и процессов получения этих свойств и представляющие в виде БД табличные, массивные и пространственные составляющие геологической информации;

5. разработана концепция создания репозитория данных, предназначенного для описания реализации хранилищ данных РБЦГИ-УВего разработка позволила организовать доставку геоданных и доступ к табличной, массивной и пространственной информации клиентам БнД;

6. разработана совокупность алгоритмических, программных и технологических средств поддержки РБЦГИ-УВ, которая обеспечивает надежное и эффективное функционирование РБЦГИ-УВ в клиент-серверной технологии;

7. разработанные с применением промышленных программно-аппаратной платформы и ГИС-технологии алгоритмические, программные и технологические средства РБЦГИ-УВ внедрены в ряде геологических центров России.

Полученные результаты могут явиться основой для проведения НИР в направлении развития хранилищ пространственных данных, создания региональных и Государственных БнД на иные виды полезных ископаемых, базирующихся на предложенной концепции построения РБЦГИ-УВ.