Автоматизированная система моделирования логических неисправностей для тестирования вычислительных процессов

Актуальность проблема тки диссертационной работы

Программное обеспечение (ПО) вычислительных систем характеризуется наличием большого количества ошибок. Даже при том, что мно1ие ошибки, которые изначально присутствуют в новом ПО, обнаруживаются и исправляются до того, как оно попадает к пользователю, остающиеся продолжают вызывать ненужные затраты и потери времени в течение еще длительного периода после завершения разработки ПО. Таким образом, важнейшей задачей является повышение качества тестирования профаммных продуктов [1,2].

Сфуктурное тестирование программного продукта может быть сведено к тестированию вычислительного процесса (ВП), порождаемого программой при интерпретации её команд вычислительной машиной [3]. Вычислительный процесс задае1ся в виде фафо-аналитической модели (ГАМ) — под ГАМ при этом понимается описание вычислительного процесса в виде вершин, содержащих аналитические формулы, и дуг, образующих связи между вершинами [4, 5].

Во время тестирования ВП следует каким-либо образом оценить контролирующие свойства используемых входных наборов, т. е. провести анализ качества тестов. Одним из решений данной задачи является создание автоматизированной системы, проверяющей эффективность тестирования ВП. Такою рода система была разработана в рамках данной диссертации. Эта система является составной частью учебно-исследовательской системы авюматизированною проектирования (САПР), используемой для автоматизации тестирования и верификации вычислительных процессов [6].

Для оценки качества структурного тестирования были в свое время предложены разнообразные критерии покрытия тестируемого кода, в частности, покрытия операторов, ветвей, путей и т. д. Позднее был предложен меюд мутационного тестирования, который, однако, в широком смысле также является подвидом анализа покрытия кода [7, 8].

В каждом конкретном случае из большого числа существующих методов оценки качества тестирования можно выбрать какой-либо наиболее подходящий. Если исходить из задачи проектирования учебно-исследовательской САПР, то все упомянутые методы в том виде, в котором они чаще всего применяются, имеют ряд недостатков.

Текст программы, порождающей тестируемый ВП, анализируется на уровне исходного языка высокою уровня (ЯВУ) — для сбора нужной статистической информации необходима перекомпиляция, во время которой в программу вносится некоторая дополнительная информация — например, флаги, с помощью которых потом можно было бы восс1ановить путь исполнения. Следовательно, такие системы проверки качества тестирования должны тесно взаимодействовать с компиляторами для всех возможных ЯВУ, на которых пишутся программы, порождающие тестируемые ВП [9].

Подробное исследование свойств применяемых тесювых последовательностей достигается, как правило, путем увеличения объема собираемой информации и/или усложнения алюритмов ее обрабо1Ки, что могло бы отрицательным образом сказаться как на времени разраб01ки системы, гак и на ее итоговой производительности.

Следова1ельно, возникает необходимость в создании нового критерия оценки качества тестовых наборов. Можно сделать вывод, что разработка автоматизированной системы, оценивающей эффективность тестирования вычислительных процессов с помощью нового кригерия качества тестирования, является акгуальной задачей. При этом должны бы гь соблюдены следующие условия.

1)Все необходимые изменения должны вноситься в машинный код программы, порождающей тестируемый ВП, блаюдаря чему исчезнет необходимость перекомпиляции программыв целом это позволь снизить зависимость системы от какою-либо конкретного ЯВУ.

2) Объем используемой информации должен быть достаточным, чтобы получить адекватное представление о качестве используемых тесювых наборов, и при этом время работы сис1емы должно быть небольшим.

3) Общий алгоритм работы системы должен быть относительно легко реализуемым и при этом эффективнымдля достижения этого фебуется учитывать особенности тестируемых вычислительных процессов учебно-исследовательских программ, в частности, короткое время их выполнения.

Целью работы является создание на основе новою критерия оценки качес1ва тестовых наборов автоматизированной системы, способной за приемлемое время производить анализ качества юстирования вычислительных процессов учебно-исследовательских про1рамм.

Основные задачи рабо1ы состоят в следующем:

1) Анализ существующих критериев качества тестирования и разработка на их основе нового критерия, позволяющего с помощью относительно простых алгоритмических решений и без значительных временных затрат эффективно оценивать качество входных наборов, применяемых при тестировании вычислительных процессов;

2) Разработка методов анализа и модификации машинного кода, позволяющих применять новый кршерий качества тесювых наборов и достигать при этом максимальной производительности рабош автоматизированной системы, оценивающей эффективное п> тестирования вычислительных процессов;

3) Создание на основе разработанных методов автомашзированной системы, позволяющей оценивать и повышать эффективность тестированияданная система будет являться подсистемой учебно-исследовательской САПР верификации и тестирования вычислительных процессов.

Методы исследования

В соответствии с целями и задачами диссертационной работы объектом исследования является вычислительный процесс программы, а предметом исследования — моделирование в данном процессе неисправностей для оценки качества используемых при тестировании входных наборов.

В работе использованы методы моделирования, технической диагностики, теория графов, теория множеств и теория программирования.

В работе получены следующие научные результаты, выносимые на защиту.

1) Предложен новый критерий оценки качества тестовых наборовкритерий покрытия простых логических неисправностей в условиях-предикатах вычислительных процессов.

2) Предложен метод прямою моделирования простых логических неисправностей, обеспечивающий базовую функциональность автоматизированной системы моделирования неисправнос1ей.

3) Предложены два дополнительных метода: метод имитции опасных неисправностей и метод отладки бесконечных циклов, используемые в различных ситуациях вместо метода прямою моделирования неисправностей для предотвращения разною рода аварий.

4) На основе перечисленных методов предложен алгори1м работы автоматизированной системы моделирования неисправностей, являющейся частью учебно-исследовательской САПР верификации и тестирования вычислительных процессов, и используемой для проверки и повышения эффективности тестирования.

Практическое значение работы состоит в следующем.

1)Дан пример использования логических неисправностей определенною вида для оценки качества тестовых наборов.

2) Реализована и внедрена в учебный процесс автоматизированная система моделирования неисправностей, являющаяся подсистемой учебно-исследовательской САПР и призванная реша1ь ряд задач при проведении тестирования ВП. Полезность данной системы определяется возможностью сопоставления моделируемых неисправностей и используемых 1есювых входных наборовтакое сопоставление позволяет, в частное ж, выполняп, следующее:

— находить среди используемых тестовых наборов те, коюрые не проверяют новых по отношению к остальным наборам неисправностей и могут бы 1ь отбракованы;

— находить среди моделируемых неисправностей те, которые не были обнаружены в процессе тестированияанализ предоставленной информации о местоположении непроверенных неисправностей должен помочь пользователю системы добавить к имеющимся тестовым наборам дополнительные, которые могли бы обнаружить оставшиеся неисправноститаким образом, возможно циклическое улучшение качества тестирования до тех пор, пока не останется непроверенных неисправностей или пока пользователь не сочтет, что дальнейшее улучшение не является необходимым.

Достоверное! ь научных положений, выводов и практических рекомендаций диссертационной рабо1Ы подтверждается детальным анализом проблем, связанных с моделированием неисправностей, корректным обоснованием предлагаемых решений, положительными результатами при обсуждении работы на различных научных конференциях, а также результатами использования на практике разработанных в рамках диссертации методов.

Кра1Кое содержание работы по главам

В первой главе диссертации рассматриваются существующие методы оценки качества тестирования вычислительных процессов программ, в частноеIи, различные виды анализа покрытия кода, а также, в качестве отдельного метода, метод мутационного тестирования. Анализируются достоинства и недостатки различных методов, определяются границы их применимости.

В ито1е доказывается актуальность поставленной задачи, ее научная новизна и практическая ценность, а также формулируются задачи, решаемые в последующих главах работы.

Во второй главе диссертации вводится понятие логической неисправности и в первом приближении обосновывается возможность применения предлагаемого критерия покрытия моделируемых неисправностей в качестве критерия оценки эффективности тестовых наборов. Далее рассматриваются вопросы, связанные с осущесгвлением прямого моделирования простых логических неисправноеIей в условиях-предикатах ВН. Уделяется внимание проблеме эквивалентности вычислительных процессов, возникающей в отдельных случаях при моделировании неисправностей, и ее влиянию на покрытие неисправностей.

В конечном итоге доказывается эффективность критерия покрытия моделируемых неисправностей на основе сравнения достигнутых в данной главе результатов с рассмотренными в первой главе результашми применения других критериев оценки качества тестирования В11.

В 1ре1ьей главе диссертации рассматривается возможные опасные ситуации, возникающие при моделировании логических неисправностей, в частности, при моделировании неисправностей в вычислительных процессах, содержащих циклы. Для решения данной проблемы предлагаются два новых метода моделирования неисправностей: метод имитации опасных неисправностей и метод отладки бесконечных цикловдаются рекомендации по выбору того или иного метода в зависимости от ситуации.

В четвертой главе диссертации описываются принципы функционирования разработанной автоматизированной системы моделирования неисправностей.

Автоматизированная система моделирования неисправностей позволяет сопоставить используемые тестовые наборы и обнаруживаемые ими неисправности. Наличие такого рода информации позволяет реша1ь задачи отбраковки ненужных и подбора дополни? ельных тестовых наборов для достижения необходимого качества тестирования, определяемою полнотой покрытия моделируемых неисправностей.

Результаты работы исходного В11 будут выведены в следующем виде. Эталонные результаты:

Т1 -15

Т2 -1

ТЗ О Т4

Т5 -4

Тб 3

Для всех шести тестовых наборов получены правильные результаты. Теперь необходимо провести моделирование неисправностей. Для этою следует ответить «Да» на вопрос

ПРОДОЛЖАТЬ РАБОТУ? Д-Да, Н-Нет т. е. нажать «Д».

После моделирования неисправностей будут выведены следующие результаты.

Команды ¡-Яитр и неисправности:

40 102Е, 1ЬЕ Вне тТ Прямое мод. Кол-во наборов = 1(6) тЕ Прямое мод. Кол-во наборов = 3(6)

401 038 ЗЕ Вне тТ Прямое мод. Кол-во наборов = 1(6) шЕ Прямое мод. Кол-во наборов = 1(6) 401 061^Е Вне тТ Прямое мод. Кол-во наборов = 2(6) шЕ Прямое мод. Кол-во наборов = 1(6)

004 010 6А Л, Вне шТ Прямое мод. Кол-во наборов = 2(6) шЕ Прямое мод. Кол-во наборов = 1(6)

401 073 аЫЕ Вне шТ Прямое мод. Кол-во наборов = 1(6) шЕ Прямое мод. Кол-во наборов = 1(6)

КПМН =1.0

ТПН:

T1 l. mT, 2. mT

Т2 З. шТ, 4. mT, 5. mF

ТЗ l. mF

Т4 l. mF, З. гпТ, 4. mT, 5. тТ

Т5 2. mF, 3. mF

Т6 l. mF, 4. mF

4.6 Системные требования и время работы

Автоматизированная система MIIJ1H реализована в виде консольного приложения Windows, и требования к производительности персонального компьютера, на который должна быть установлена автоматизированная система, не являются высокими. Однако следует помнить, что при относительно большом количестве моделируемых неисправностей и/или относительно длительном времени работы тестируемого BII в тестируемых ВП предпочтительнее, разумеется, использование высокопроизводительного компьютера.

Минимальные системные требования:

— процессор Intel PII 233 МГц;

— оперативная память 32 Мб;

— операционная система Windows 98.

Согласно формуле (2.36), время работы автоматизированной системы МПЛН можно оценить следующим образом: tcm ^2tmNl?umpNT. Для большей точности следует добавить еще время на тестирование исходною 13П без неисправностейв итоге получаем следующее. сш A hu (2Nl?umr +)NT (4.3)

Для примера приведем временные параметры работы системы на персональном компьютере с частотой процессора 900 МГц (ВП содержит цикл Ц1 и в общей сложности 6 условий-предикатов). я&bdquo- *0.09с, i/Jump =

10, (4>4)

2^ + 1)^=11,70 6-,

Ш= 13,83 с

Понятно, что в тех случаях, когда приходится использовать метод отладки для борьбы с возникшими бесконечными циклами, на время работы системы будет влиять уже значение таймаут (см. 3.1.6). Запретим использовать метод имитации опасных неисправностей в предыдущем примере и выберем в качестве таймаута tu = 1 с. = 0,09 с, — 1 с,

N =6

Ритр и"

Л^=10, (4−5) ш^фитр^т 20,80 с, щ ~ 23,95 с

Заключение

В диссертационной работе исследована проблема моделирования простых логических неисправностей и доказана теоретическая и практическая ценность следующих полученных научных результатов.

1) Предложен новый критерий оценки качества тестовых наборовпокрытие моделируемых неисправностей в командах условного перехода, который был признан наиболее подходящим для использования в автоматизированной системе, оценивающей эффективность тестирования вычислительных процессов учебно-исследовательских программ.

2) Разработан метод прямого моделирования простых логических неисправностей, позволяющий применять предложенный критерий покрытия в наиболее просшх случаях (например, при тестировании ациклических вычислительных процессов).

3) В целях предотвращения аварийных ситуаций, возникающих в определенных обстоятельствах при использовании метода прямого моделирования неисправностей, было сделано следующее:

— исследован механизм возникновения аварийных ситуаций при прямом моделировании неисправностей (в частности, в вычислительных процессах, содержащих циклы);

— разработаны два дополнительных метода (метод имитации опасных неисправностей и метод отладки бесконечных циклов) для моделирования неисправностей в тех случаях, когда применение метода прямою моделирования могло бы привести к возникновению аварийных ситуаций;

— разработан алгоритм выбора метода моделирования конкрепюй неисправности.

4) На основе предложенных методов моделирования неисправностей была разработана автоматизированная система, позволяющая оценивать и повышать эффективность тестированияданная система является подсистемой учебно-исследовательской САПР верификации и тестирования вычислительных процессов.

Основные положения диссертационной работы докладывались на XXXIV научной и учебно-методической конференции СПбГУ ИТМО (Санкт-Петербург, 2005) — II конференции молодых ученых СПбГУ ИТМО (Санкт-Петербург, 2005) — XXXV научной и учебно-методической конференции СПбГУ ИТМО (Санкт-Петербург, 2006) — III конференции молодых ученых СПбГУ ИТМО (Санкт-Петербург, 2006).

По теме диссертации опубликованы 5 печатных работ, в том числе три статьи в научных сборниках и две стгьи в трудах научных конференций.

Автоматизированная система моделирования простых ло1ических неисправностей, разработанная в рамках диссертации, используется на практике в учебном процессе кафедры Информатики и Прикладной Математики СПбГУ ИТМО, а также в ФГУП «Санкт-Петербургское ОКБ «Электроавтоматика».