Исследование и разработка методов оценки эффективности обслуживания запросов при создании хранилищ данных
Диссертация
Многие аспекты хранилищ данных сильно отличаются от традиционных БД. Основная особенность — очень большие объемы информации (десятки, а нередко и сотни гигабайт). Обслуживаемые в хранилище запросы гораздо сложнее чем в оперативной системе, они требуют для своей обработки анализа значительных объемов исторической информации. Кроме того, важным аспектом является потребность работы… Читать ещё >
Содержание
- 1. Концепция хранилищ данных
- 1. 1. Оперативные и аналитические базы данных
- 1. 2. Основные особенности информационных хранилищ
- 1. 3. Архитектура хранилища данных
- 1. 4. Модели данных, используемые для построения хранилищ
- 1. 4. 1. Многомерное представление информации
- 1. 4. 2. Многомерный OLAP (MOLAP)
- 1. 4. 3. Реляционный OLAP (ROLAP)
- 1. 5. Реализация многомерной информационной модели средствами 28 РСУБД
- 1. 6. Оценка производительности при проектировании хранилищ данных
- 1. 7. Выводы по главе 1
- 2. Проектирование вычислительных систем с использованием графовых моделей на основе цепей Маркова
- 2. 1. Оценка эффективности при создании вычислительных систем
- 2. 2. Структура и параметры графовых моделей программ
- 2. 3. Модель программы как марковский процесс
- 2. 4. Графовая модель процесса обработки запроса в базе данных
- 2. 5. Определение характеристик обработки запросов с помощью упрощающих преобразований графов
- 2. 6. Выводы по главе 2
- 3. Разработка информационных хранилищ по методологии CASE
- 3. 1. Жизненный цикл программного комплекса
- 3. 2. Основные этапы создания хранилища данных
- 3. 3. Минимизация среднего времени обработки запроса и его дисперсии
- 3. 4. Исследование процесса обслуживания запроса по методу исключающих преобразований
- 3. 5. Программная реализация методики оценки производительности
- 3. 6. Выводы по главе 3
- 4. Создание хранилища данных для Госстандарта России
- 4. 1. Основные вопросы автоматизации сертификации и стандартизации
- 4. 2. Анализ требований к сбору и анализу сертификатов
- 4. 3. Реализация оперативной БД для сбора сертификатов
- 4. 4. Создание аналитической БД для хранения и анализа сертификатов
- 4. 5. Выводы по главе 4
Список литературы
- Авен О.И., Гурин Н. Н., Коган Я. А. Оценка качества и оптимизация вычислительных систем. — М.: Наука, 1982. — 464 с.
- Арменский А.Е. Тензорные методы построения информационных систем. -М.: Наука, 1989. 152 с.
- Атре Ш. Структурный подход к организации баз данных. М.: Финансы и статистика, 1983. — 313 с.
- Байцер Б. Архитектура вычислительных комплексов. М.: Мир, 1974. -498 с.
- Бирюков А. Системы принятия решений и хранилища данных. // СУБД. -1997.-№ 4.-С. 37−41.
- Бобровски С. Oracle 7 и вычисления клиент/сервер. М.: Лори, 1995. -652 с.
- Богуславский Л.Б., Ляхов А. И. Методы оценки производительности многопроцессорных систем. М.: Наука, 1992. — 212 с.
- Вендров A.M. CASE-технологии. Современные методы и средства проектирования информационных систем. // http://www.citforum.ru/ database/case/.
- Головкин Б.А. Расчет распределения вероятностей времени выполнения машинных программ. // Управляющие системы и машины. 1974. -№ 3, — С. 23−28.
- Головкин Б.А. Расчет характеристик и планирование параллельных вычислительных процессов. М.: Радио и Связь, 1983. — 272 с.
- Гореткина Е. Lotus Domino открывает Госстандарту окно в Internet // Сети, 2000, № 4 http://www.osp.ru/nets/2000/04/092.htm.
- ГОСТ 28 195–89. Оценка качества программных средств. Общие положения. Государственный стандарт Союза ССР, введен в действие 01.07.1990. — М.: Издательство стандартов, 1989. -39 с.
- ГОСТ 23 501.101−87. Системы автоматизированного проектирования. Основные положения. Государственный стандарт Союза ССР, введен в действие 01.07.1988. -М.: Издательство стандартов, 1987. — 11 с.
- ГОСТ Р ИСО/МЭК 12 207−99. Информационная технология. Процессы жизненного цикла программных средств. Государственный стандарт Союза ССР, введен в действие 23.12.1999. — М.: 1999.
- Девитт Д., Грей Д. Параллельные системы баз данных: Будущее высоко эффективных систем баз данных. // СУБД. 1995. — № 2. — С. 8−31.
- Дейт К. Дж. Введение в системы баз данных. Шестое издание. М.: Вильяме, 2000. — 848 с.
- Кабанов Р.В. Оценка времени обслуживания запросов в базах данных с использованием метода исключающих преобразований. Тезисы докладов научно-технической конференции студентов, аспирантов и молодых специалистов. -М.: МГИЭМ, 1999. С. 101 — 102.
- Кабанов Р.В. Программный комплекс Диспетчер' средство автоматизации работы службы техпомощи. Тезисы докладов научно-технической конференции студентов, аспирантов и молодыхспециалистов, посвященной 35-летию МГИЭМ. М.: МГИЭМ, 1997. -С. 195−196.
- Кабанов Р.В. Реестр сертификатов соответствия ГОСТ Р хранилище данных в области сертификации и стандартизации. Тезисы докладов научно-технической конференции студентов, аспирантов и молодых специалистов. — М.: МГИЭМ, 2000. — С. 87 — 89.
- Кабанов Р.В. Создание хранилища данных для службы автомобильной техпомощи. Материалы научно-практического семинара «Новые информационные технологии" — Моск. гос. ин-т электроники и математики. М.: 1998.-С. 41−48.
- Кабанов Р.В. PowerDesigner как средство автоматизированного проектирования баз данных. Выступление на 8-й ежегодной конференции разработчиков программного обеспечения ТЕХНИКОН-98. М.: 1998.
- Кабанов Р.В., Солодовников И. В. Оценка производительности обслуживания запросов при проектировании информационных хранилищ. М.: 2001. — 7 с. — Рукопись депонирована в ВИНИТИ, № 955 -В2001.
- Клыков В.И., Горьков А. Н. Банки данных для принятия решений. М.: Советское Радио, 1980. — 280 с.
- Кодд Е.Ф. Расширение реляционной модели для лучшего отображения семантики. // СУБД. 1996. — № 5−6. — С. 163−192.
- Кодд Е.Ф. Реляционная модель для больших совместно используемых банков данных. // СУБД. 1995. — № 1. — С. 145−160.
- Колдаков В.В., Марусин В. В., Шаталов Е. М. Реализация распределенной базы данных в концепции информационного хранилища. Новосибирск: Институт систем информатики СО РАН, 1996.-С. 27.
- Корн Г., Корн Т. Справочник по математике для научных работников и инженеров. -М.: Наука, 1968. 720 с.
- Корнеев В.В., Гарев А. Ф., Васютин С.В, Райх B.B. Базы данных -интеллектуальная обработка информации. М.: Нолидж, 2000. — 352 с.
- Коровкин С.Д., Левенец И. А., Ратманова И. Д., Старых В. А., Щавелев JI.B. Решение проблемы комплексного оперативного анализа информации хранилищ данных. // СУБД. 1997. — № 5−6. — С. 47−51.
- Корячко В.П., Курейчик В. М., Норенков И. П. Теоретические основы САПР. М.: Энергоатомиздат, 1987. — 400 с.
- Кречетов Н. Информационные хранилища обзор технологий и продуктов. // Computer Week-Moscow. — 1996. -№ 16.
- Кузнецов С.Д. Введение в СУБД. Часть 4. // СУБД. 1995. — № 4. -С. 114−122.
- Кузнецов С.Д. Исследование и разработка SQL сервера. Диссертация доктора физ.- мат. наук. -М.: 1993. — 136 с.
- Кузнецов С.Д. Стандарты языка реляционных баз данных SQL : краткий обзор. // СУБД. 1996. — № 2. — С. 6−36.
- Кузнецов С.Д., Артемьев В. Обзор возможностей применения ведущих СУБД для построения хранилищ данных (DataWarehouse). // 3-я ежегодная конференция Корпоративные базы данных '98. Доклады и тезисы.// Центр информационных технологий. М., 1998.-С. 153−161.
- Левенец И.А. Методы и средства автоматизации проектирования и эксплуатации хранилищ данных. Автореферат диссертации кандидата технических наук. Иваново, 2001. — 18 с.
- Липаев В.В. Качество программного обеспечения. М.: Финансы и статистика, 1983. — С. 263.
- Липаев В.В. Надежность программного обеспечения АСУ М.: Энергоиздат, 1981. — С. 240.
- Липаев В.В. Распределение ресурсов в вычислительных системах. М.: Статистика, 1979. — С. 247.
- Львов В. Создание систем поддержки принятия решений на основе хранилищ данных. // СУБД. 1997. — № 3. — С. 30−40.
- МакГоверан Д. Восемь важнейших характеристик распределенных СУБД. // ComputerWeek-Moscow. 1994. — № 37. — С. 36−38.
- Маклаков С.В. Хранилища данных и их проектирование с помощью С A ERwin. М.: Interface LTD, 2001. -http ://www. interface .ru/admail. asp? Url=/ca/stor.htm.
- Маклаков C.B. BPwin и ERwin. CASE-средства разработки информационных систем. -M.: Диалог-МИФИ, 1999. 256 с.
- Мартин Дж. Организация баз данных в вычислительных системах. М.: Мир, 1980.-662 с.
- Математический энциклопедический словарь. / Гл. ред. Прохоров Ю. В. Ред. кол.: Адян С. И., Бахвалов Н. С., Битюцков В. И., Ершов А. П. и др. -М.: Советская Энциклопедия, 1988. 608 с.
- Мейер Д. Теория реляционных баз данных. М.: Мир, 1987. — 608 с.
- Некрасов В. Введение в OLAP на практическом примере. // PC Week RE. 2001.-№ 16.-С. 23.
- Некрасов В. OLAP, сделано в России. // PC Week RE. 2001. — № 3. -С. 21−22.
- Норенков И.П. Введение в автоматизированное проектирование технических устройств и систем. М.: Высшая школа, 1980. — 311 с.
- Норенков И.П., Маничев В. Б. Системы автоматизации проектирования электронной и вычислительной аппаратуры. М.: Высшая школа, 1983. — 274 с.
- Озкарахан Э. Машины баз данных и управление базами данных. М.: Мир, 1989.-696 с.
- Приказ Госстандарта России от 27 октября 1999 г. № 455 «О создании автоматизированной системы Госреестра системы сертификации ГОСТ Р». М.: Государственный комитет Российской Федерации по стандартизации и метрологии, 1999.
- Пржиялковский В.В. Сложный анализ данных большого объема -новые перспективы компьютеризации // СУБД. 1996. — № 4. -С. 71−83.
- Пржиялковский В.В. Data Warehouse — почувствуйте себя принимающим решение. // Computer World Россия. — 1999. — № 4. -http://www.idg-universe.ru/cw/cio/1999/04/02.htm.
- Прохоров В.Н. Создание интегрированной системы обработки информации в области стандартизации. Диссертация доктора технических наук. М.: 1997 — С. 331.
- Раден Н. Данные, данные и только данные. // ComputerWeek-Moscow. -1996.-№ 8.-С. 28.
- Раден Н. Интеграция WWW и информационных хранилищ. // ComputerWeek-Moscow. 1996. — № 28. — С. 31, 44.
- Раден Н. Повышение производительности хранилищ данных. Часть первая. // ComputerWeek-Moscow. 1996. — № 32. — С. 28, 29, 44.
- Раден Н. Повышение производительности хранилищ данных. Часть вторая. // ComputerWeek-Moscow. 1996. — № 33. — С. 28, 29, 43.
- Саймон А. Обработка транзакций. // СУБД. 1997. — № 2. — С. 70−82.
- Саймон А. Склады данных. // СУБД. 1997. — № 3. -http://www.osp.ru/dbms/1997/03/87.htm.
- Сахаров А.А. Концепция построения и реализации информационных систем, ориентированных на анализ данных // СУБД. 1996. — № 4. -С. 55−70.
- Сахаров А.А. Принципы проектирования и использования многомерных баз данных (на примере Oracle Express Server) // СУБД. 1996. -№ 3.-С. 44−59.
- Свинарев С. Десять требований Red Brick Systems к хранилищам данных. // ComputerWeek-Moscow. 1996. — № 2. — С. 30.
- Соколов Н. Хранилища, которые мы выбираем. // ComputerWeek-Moscow. 1997. — № 6. — С. 46−50.
- Солодовников И.В. Построение систем моделирования, использующих средства баз данных и применяемых в САПР. Автореферат диссертации доктора технических, наук. М.: 1989. — 39 с.
- Тиори Т., Фрай Дж. Проектирование структур баз данных. В 2-х книгах. М.: Мир, 1985.-320 с.
- Ульман Дж. Основы систем баз данных. М.: Финансы и статистика, 1983.-498 с.
- Федоров В. Lotus Notes на страже российских стандартов. // PC Week RE. 1998. -№ 11. -С. 54.
- Феррари Д. Оценка производительности вычислительных систем. М.: Мир, 1981.-576 с
- Хаббард Дж. Автоматизированное проектирование БД. М.: Мир, 1984. -296 с.
- Чен П. П.-Ш. Модель «сущность-связь» шаг к единому представлению данных // СУБД. — 1996. — № з. — С. 137−157.
- Эделстейн Г. Битовые массивы ускоряют доступ к информации. // ComputerWeek-Moscow. 1996. — № 28. — С. 29−30.
- Эделстейн Г. Интеллектуальные средства анализа, интерпретации и представления данных в информационных хранилищах. // ComputerWeek-Moscow. 1996. — № 16. — С. 32−33.
- Adamson С., Venerable М. Data Warehouse Design Solutions. NY.: Jonh Wiley & Sons, 1998.-p. 544.
- Beizer B. Analytical Techniques For Statistical Evaluation of Program Running Time. AFIPS Conf. Proc., 1970, FJCC, v. 37 — p. 519−524.
- Beizer B. Micro-Analysis Of Computer System Performance. Van NostrandReinold, NY, 1978.-p. 404.
- Beizer B. Software Testing Techniques. Van Nostrand Reinold, NY, 1983.-p. 290.
- Beizer B. Software System Testing And Quality Assurance. Van Nostrand Reinold, NY, 1984.-p. 358.
- Bull К. Sybase’s higher IQ Software. I I ComputerWeek-Moscow. 1995. -№ 36. — C. 14.
- Ceri. S., Pelagatti G. Distributed Databases: Principles and Systems. NY.: McGrawHill, 1984.
- Chanliau M. PowerDesigner 7.0 The Next Generation. — Sybase Inc., 1999. -p. 28.
- Codd E.F., Codd S.B., Salley C.T. Providing OLAP To User-Analysts: An IT Mandate. E. F. Codd & Associates, 1993.
- Codd E.F. Relational Completeness of Data Base Sublanguages // Data Base Systems, Courant Computer Science Symposia Series 6. Englewood Cliffs, N.J.: Prentice-Hall, 1972.
- Demarest M. Building The Data Mart. // DBMS. July 1994. — v.7, n 8. -p. 44(7).
- DePompa В. Основные тенденции развития информационных хранилищ. // ComputerWeek-Moscow. 1996. — № 16.
- Devlin В. Data Warehouse: From Architecture to Implementation. -Addison-Wesley Pub Co, 1996. p. 450.
- Dijkstra E.W. Notes On Structuring Programming. In: Dahl. O.-J., Dijkstra E.W., Hoare C.A.R. Structured Programming. Academic Press, London, 1972.-p. 1−82.
- Goulde M., Eckerson W. RDBMS Server Choice Gets Together. // ComputerWeek-Moscow. 1994. — № 37. — C. 14−30.
- Hammergen T. Data Warehousing Building the Corporate Knowledgebase. — International Thomson Computer Press, 1996.
- Inmon W.H. Building The Data Warehouse. Second Edition. NY.: Jonh Wiley & Sons, 1996.-p. 401.
- Kelly T. J. Dimensional Data Modeling. Sybase Professional Services -http://www.gca.net/solutions/whitepapers/sybase/sybdimdatamod.html.
- Kim W. On optimizing an SQL-Nested Query. // ACM Transactions on Database Systems. Vol 7., № 3 September 1982. — p. 443−469.
- Kimball R. A Dimensional Modeling Manifesto. 11 DBMS. August 1997. -v.10, n 9. — http://www.dbmsmag.com/9708dl5.html.
- Kimball R. The Data Warehouse Toolkit. Practical Techniques For Building Dimensional Data Warehouses. NY.: John Wiley & Sons, 1996. — p. 416.
- Kimball R., Reeves L., Ross M., Thornthwaite W. The Data Warehouse Lifecycle Toolkit: Expert Methods for Designing, Developing, and Deploying Data Warehouses. NY.: John Wiley & Sons, 1998. — p. 800.
- Krishmamurthy R. Optimization Of Nonrecursive Queries. // Proc. Of The 12th Conference of Very Large Databases (VLDB), Kyoto. August 1986. -p. 128−137.
- Moriarty T. Searching For The Right Data Modeling Tool. // DM Review -June 1998 http://www.dmreview.com/master.cfm?NavID= 198&EdID=3 83.
- PowerDesigner WarehouseArchitect 6.0 User’s Guide. Emeryville, CA.: Sybase Inc., 1997.-p. 614.
- PowerDesigner WarehouseArchitect The Model for Data Warehousing Solutions. — Emeryville, CA.: Sybase Inc., 1998. — p. 16.
- Raden N. Boost Warehouse Performance. Santa Barbara, CA.: Archer Decision Sciences, Inc., 1996. -http://www.archer-decision.com/artic9.htm.
- Raden N. Modeling A Data Warehouse. Santa Barbara, CA.: Archer Decision Sciences, Inc., 1996. -http://www.archer-decision.com/artic3.htm.
- Raden N. Star Schema 101: An Introduction to Dimensional Modeling. -Santa Barbara, CA.: Archer Decision Sciences, Inc., 1997. -http://members.aol.com/nraden/strl 01 .htm.
- Ramamoorthy C.V. Analysis Of Graphs By Connectivity Considerations. // Journal of ACM, v.13, № 2−1966 p. 211−222.
- Ramamoorthy C.V. Discrete Markov Analysis of Computer Programs. // Proc. 20th ACM Nat. Conf. 1965. — p. 386−392.
- Roussopoulos N. The Logical Access Path Schema of a Database. // IEEE Transactions Of Software Engineering, SE 8, 6. — November 1982. -p. 563−573.
- Roussopoulos N. View Indexing In Relation Databases. // ACM Transactions on Database Systems. Vol 7., № 2 June 1982. — p. 258−290.
- Special Issue On Query Optimization // IEEE Database Eng. 1982. — 5, № 3.
- Sybase Adaptive Server Enterprise Version 12.0 Performance and Tuning Guide: Query Tuning. — Emeryville, CA.: Sybase Inc., 1999. — p. 668.
- Sybase Adaptive Server Enterprise Version 12.0 System Administration Guide. — Emeryville, CA.: Sybase Inc., 1999. — p. 952.
- Sybase Adaptive Server Enterprise Version 12.0 Transact-SQL User’s Guide. — Emeryville, CA.: Sybase Inc., 1999. — p. 794.
- Thomsen E. OLAP Solutions: Building Multidimensional Information Systems. NY.: John Wiley & Sons, 1997. — p. 608.
- TPC Benchmark «D» (Decision Support). Standard Specification. Revision 1.3.1. San Jose, CA.: Transaction Processing Performance Council (TPC), 1988.-p. 39.
- Triverdi A.K., Shooman M.L. A Many-State Marcov Model For The Estimation And Prediction Of Computer Software Performance Parameters. // International Conference On Reliable Software, Los Angeles, 1975. -p. 208−220.
- Wong E., Youssefi K. Decomposition: A Strategy For Query Processing. // ACM Transactions on Database Systems. Vol 1., № 3 September 1976. -p. 223−241.