Выбор стратегии тестирования и разработка тестов

Стратегия тестирования — это план проведения работ по тестированию системы или её модуля, учитывающий специфику функциональности и зависимости с другими компонентами системы и платформы. Стратегия определяет типы тестов, которые нужно выполнять для данного функционала системы, включает описание необходимых подходов с точки зрения целей тестирования[5].

Стратегия тестирования отвечает на вопросы [8]:

• ? как, каким образом тестирование даст ответ, что данный функционал работает;
• ? что нужно сделать и чем пользоваться из инструментальных средств, для достижения целей тестирования;
• ? когда определённый функционал будет тестироваться и соответственно когда ожидать получения результатов;

Тестирование программного обеспечения (ПО) — это процесс выполнения программ на некотором наборе данных, для которого заранее известен результат применения или известны правила поведения этих программ. Указанный набор данных называется тестовым или просто тестом [10].

Для оптимизации набора тестов, т. е. для подготовки такого набора тестов, который позволял бы при заданном их числе (или при заданном интервале времени, отведенном на тестирование) обнаруживать большее число ошибок в ПО, необходимо, во-первых, заранее планировать этот набор и, во-вторых, использовать рациональную стратегию планирования тестов. Проектирование тестов можно начинать сразу же после завершения этапа внешнего описания ПО. Возможны разные подходы к выработке стратегии проектирования тестов, которые можно условно графически разместить между следующими двумя крайними подходами (Рис. 2) [5].

Рис. 3. Спектр подходов к проектированию тестов.

Оптимальная стратегия проектирования тестов расположена внутри интервала между этими крайними подходами, но ближе к левому краю. Она включает проектирование значительной части тестов по спецификациям, но она требует также проектирования некоторых тестов и по текстам программ. При этом в первом случае эта стратегия базируется на принципах[6]:

• ? на каждую используемую функцию или возможность — хотя бы один тест;
• ? на каждую область и на каждую границу изменения какой-либо входной величины — хотя бы один тест;
• ? на каждую особую (исключительную) ситуацию, указанную в спецификациях, — хотя бы один тест.

Рассмотрим подробнее методики тестирования «чёрный ящик» и метод тестирования «белый ящик».

Метод тестирования «чёрный ящик». Долгое время основным способом тестирования было тестирование методом «черного ящика» — программе подавались некоторые данные на вход и проверялись результаты, в надежде найти несоответствия [9]. При этом, как именно работает программа, считается несущественным. Отметим, что даже при таком подходе необходимо иметь спецификацию программы для того, чтобы было с чем сравнивать результаты.

Этот подход до сих пор является самым распространенным в повседневной практике, но у него есть целый ряд недостатков. Во-первых, таким способом невозможно найти взаимоуничтожающихся ошибок, во-вторых, некоторые ошибки возникают достаточно редко (ошибки работы с памятью) и потому их трудно найти и воспроизвести.

Метод тестирования «белый ящик». Метод тестирования, которые изучают не только внешнее поведение программы, но и ее внутреннее устройство (исходные тексты). Такие методики обобщенно называют тестированием «белого ящика». Назовем некоторых представителей этого класса методик: чтение программ, формальные просмотры программ, инспекции и т. п.). Основной трудностью подобных методов является сложность отслеживания вычислений времени выполнения [8].

При тестировании программы методом «белый ящик» происходит проверка логики программы. Полным тестированием в этом случае будет такое, которое приведет к перебору всех возможных путей. Даже для средних по сложности программ числом таких путей может достигать десятков тысяч.

Критерии тестирования. Поскольку исчерпывающее структурное тестирование невозможно, необходимо выбрать такие критерии его полноты, которые допускали бы их простую проверку и облегчали бы целенаправленный подбор тестов. Наиболее слабым из критериев полноты структурного тестирования является требование хотя бы однократного выполнения каждого оператора программы. Более сильным критерием является критерий: каждая ветвь алгоритма (каждый переход) должна быть пройдена (выполнена) хотя бы один раз [15].

Изучение этих методов тестирования показывает, что они дополняют друг друга, то есть различные методы находят разные ошибки. Поэтому наиболее эффективные процессы разработки программного обеспечения используют некоторую комбинацию методик «черного ящика» и «белого ящика» .

Теперь проведём тестирование созданного нами программного продукта «Файловый менеджер». Для тестирования приложения была выбрана комбинация методик «черного ящика» и «белого ящика».

Протестируем основные функции программы, а это: открытие файлов, копирование файлов, перемежение файлов, удаление файлов, создание новых каталогов. Результаты тестирования приложения мы видим в Табл.1. Ниже приведены критерии тестирования программного продукта.

• 1. Значения исходных данных (во всех функциях ПС исходные данные-объекты файловой системы компьютера) — исходные данные отображаются в программе «Файловый менеджер» верно.
• 2. Ожидаемый результат — выполнение соответствующих функций ПС над объектами файловой системы компьютера.
• 3. Реакция программы — предупреждение об ошибках совершаемых пользователем при выполнении функции программы. Если ошибок не обнаружено, то приступает к выполнению соответствующих функции приложения.
• 4. Проверка правильности работы функций приложения с помощью проводника Windows.

Таблица 1.

Следует отметить что, тестирование не может доказать правильность работы ПО, в лучшем случае оно может продемонстрировать наличие в нем ошибки. Другими словами, нельзя гарантировать, что тестированием ПО практически выполнимым набором тестов можно установить наличие каждой имеющейся в программе ошибки.

По итогом проведённого тестирования приложения комбинацией методик черного и белого ящика все тесты были пройдены успешно следовательно приложение не причиняет вреда объектам файловой системы компьютера и может быть использовано пользователями.