Тестирование всех пар

В большинстве случаев ошибки в программе возникают из-за одного входного параметра или взаимодействия между двумя параметрами^[2]. Ошибки, связанные с взаимодействием трёх и более параметров, встречаются значительно реже^[3] и намного труднее выявляются, а исчерпывающее тестирование всех возможных сочетаний стремится к экспоненциальному росту числа тестов^[4]. Таким образом, комбинаторные методы выбора тестовых случаев — такие, как тестирование всех пар — представляют собой полезный компромисс между стоимостью и результативностью, существенно сокращая количество тестов без критичной потери полноты проверки функций^[5].

Более формально, если тестовый случай имеет ${\displaystyle N}$ параметров, заданных в множестве ${\displaystyle \{P_{i}\}=\{P_{1},P_{2},...,P_{N}\}}$, а область значений для каждого параметра задаётся как ${\displaystyle R(P_{i})=R_{i}}$ при ${\displaystyle |R_{i}|=n_{i}}$, то количество всех возможных комбинаций равно ${\displaystyle \prod n_{i}}$. Если предположить, что проверка кода учитывает только пары параметров, общее число тестовых случаев значительно сокращается.

Например, пусть есть параметры X, Y и Z. Можно рассматривать предикат ${\displaystyle P(X,Y,Z)}$ третьего порядка, принимающий все три параметра, или же альтернативно три предиката второго порядка ${\displaystyle p(u,v)}$. Запись ${\displaystyle P(X,Y,Z)=p_{xy}(X,Y),p_{yz}(Y,Z),p_{zx}(Z,X)}$ показывает, что если код построен на условиях, зависящих от пар параметров, тогда множество возможных значений ${\displaystyle X=\{n_{i}\}}$ может быть мультимножеством, поскольку разные параметры могут принимать одинаковое число значений.

Если ${\displaystyle max(S)}$ — это максимум мультимножества ${\displaystyle S}$, то число парных тестовых случаев для такой функции будет:

${\displaystyle T=max(X)\times max(X\setminus max(X))}$

Таким образом, если ${\displaystyle n=max(X)}$ и ${\displaystyle m=max(X\setminus max(X))}$, то количество парных тестов обычно составляет O(nm), где n и m — наибольшее и второе по величине число вариантов параметров, что значительно меньше количества полных комбинаций ${\displaystyle \prod n_{i}}$.

N-мерное тестирование (англ. N-wise testing) рассматривается как обобщение парного тестирования.

Суть метода — упорядочить множество ${\displaystyle X=\{n_{i}\}}$, чтобы и параметры ${\displaystyle P=\{P_{i}\}}$ следовали этому порядку. Пусть отсортированное множество — это ${\displaystyle N}$-кортеж:

${\displaystyle P_{s}=<P_{i}>\;;\;i<j\implies |R(P_{i})|<|R(P_{j})|}$

Тогда множество ${\displaystyle X(2)=\{P_{N-1},P_{N-2}\}}$ соответствует парному тестированию, ${\displaystyle X(3)=\{P_{N-1},P_{N-2},P_{N-3}\}}$ — тройному тестированию и т.д. В общем случае ${\displaystyle X(T)=\{P_{N-1},P_{N-2},...,P_{N-T}\}}$ означает T-мерное (T-wise) тестирование.

N-мерное тестирование охватывает все комбинации, полученные по данной формуле.

Рассмотрим параметры, приведённые в таблице:

Для параметров 'Включено', 'Тип выбора' и 'Категория' диапазон составляет соответственно 2, 3 и 4 значения. Полное тестирование охватило бы 24 случая (2 × 3 × 4). Умножив два наибольших значения (3 и 4), получаем что для парного тестирования потребуется 12 проверок. Примеры тестовых случаев, сгенерированных с помощью инструмента «pict» от Microsoft, приведены ниже: