Введение. 
Выбор способа тестирования как решение многокритериальной задачи

Тестирование является трудоемким и дорогостоящим этапом разработки программного продукта (ПП), но необходимым для обеспечения качества.

Под качеством понимается степень соответствия присущих ПП характеристик заявленным требованиям [1]. Правильное планирование позволяет сократить затраты. На этапе планирования тестирования встает вопрос выбора способа тестирования между ручным, автоматизированным и смешанным.

В данной работе предлагается решать вопрос выбора как многокритериальную задачу [2]. Поскольку ПП обладает целым рядом характеристик, авторы отказались от использования методов однокритериальной оптимизации [3], был выбран метод линейной свертки.

Вопрос выбора способа тестирования является актуальным, так как в нынешний век глобальной автоматизации ручное тестирование продолжает активно применяться [4].

Постановка задачи о формальной оценке ПП для целей тестирования

Пусть объект G описывается критериями H₁, H₂ , …, H_k, которым можно приписать числовые значения h₁, h₂, …, h_k. Пусть по совокупности значений {h₁, h₂, …, h_k} определяется некоторая характеристика R_G, позволяющая формально ответить на некоторый вопрос, касающийся объекта G. Пусть эта характеристика RG дискретна, и набор её возможных значений конечен.

В данной работе объект Gэто модуль ПП. Возможно, что это ПС целиком, если оно оценивается как достаточно простое для тестирования.

В данной работе критерии H₁, H₂ ,…, H_k — это помещённые в подразделе 2.2 вопросы о модуле тестируемого ПС. Обозначим этот набор (множество) через М .

Характеристика R_G связывается (должна указывать) на выбор автоматизированного или ручного способа тестирования ПП или на перенесение решения этого вопроса на более сложные алгоритмы, в том числе, на экспертное решение.

Таким образом, в рассматриваемой задаче может быть три решения (три альтернативы):

R1_G — использование для данного модуля ПП автоматизированного тестирования;

R2_G — использование для данного модуля ПП ручного тестирования;

R3_G — указание на некоторый пограничный случай между выбором автоматизированного и ручного методов тестирования.

В данной работе предлагается алгоритм, позволяющий формальным образом определять некоторую величину Р, однозначно указывающую на выбор между R1_G, R2_G, R3_G.

Такая задача, строго говоря, является задачей многокритериальной оптимизации с критериями H₁, H₂ ,…, H_k, но представляет собой вырожденный случай, поскольку допускает прямое вычисление всех возможных значений величины Р. Тем не менее, она решается на основе идей, используемых для исследования многокритериальных задач.

Входным материалом в задачу являются два вида экспертных оценок, что порождает двухстадийный процесс формирования оценок h₁, h₂, …, h_k Поскольку экспертные оценки по определению дискретны, то формально решаемая задача относится к классу дискретных задач оптимизации.

Другой особенностью является деление вопросов множества М на три группы. Этот акт позволяет учитывать обобщенный опыт тестирования ПП. В алгоритме оптимизации такой факт учитывается при вычислении величины Р .

Исходная информация в задаче состоит:

• а) из ответов (экспертных оценок) в = (в₁, в ₂, …, в _k), даваемых в группе программистов — создателей данного ПП. Вопросы из множества М сформулированы именно под ответ «да» или «нет». В соответствии с этим величина в_i, i=1, 2, …, k представляет собой 1 или 0. Такая информация не является обременительной для создателя ПП. Вся сложность уходит в дальнейшую обработку.
• б) из экспертных оценок б = (б₁, б₂, … _, б_k) (называемых в работе весами), которые даются в группе тестирования.

Наличие двух типов экспертной информации делает решение задачи более объективным, поскольку работа будет идти не с реальными физическими величинами, а с искусственными бальными оценками.

За основу решения задачи многокритериальной оптимизации берётся метод свёртки [5].

Разновидность метода свёртки — групповая свёртка — используется в связи с тем, что критерии (вопросы) H₁, H₂ ,…, H_k делятся на группы, как это и сделано в подразделе 2.2. А именно, H^I = (H1, H₂ ,…, H_k1) — это первая группа вопросов.

В них веса б₁, б₂, … _, б_k1, близкие к 1, ведут преимущественно к автоматизированному тестированию.

Во второй группе критериев H^II = (H_k1+1, H_k1+2 ,…, H_k2) веса б_k1, б_k1+1, … _, б_{k2 ,} близкие к 1, ведут преимущественно к ручному способу тестированию. В третьей, в целом нейтральной группе критериев H^III = (H_k2+1, H_k2+2 ,…, H_k), ответы близкие к 1, ведут преимущественно к выбору автоматизированного вида тестирования. Естественно, k1? k2? k. Такие оценки наиболее удобно давать эксперту. Их вид далее учитывается в алгоритме обработки.