Allpairs – утилита для попарного тестирования (pairwise testing, all-pairs testing)
Мы используем cookie-файлы, чтобы получить статистику, которая помогает нам улучшить сервис для Вас с целью персонализации сервисов и предложений. Вы можете прочитать подробнее о cookie-файлах или изменить настройки браузера. Продолжая пользоваться сайтом без изменения настроек, вы даёте согласие на использование ваших cookie-файлов.
speech bubble

Allpairs – утилита для попарного тестирования (pairwise testing, all-pairs testing)

Allpairs – утилита для попарного тестирования (pairwise testing, all-pairs testing)

 

- Эй, Максим, я закончил разработку, надо протестировать!

- Эммс. 17:58 на часах, пятница, вечер...

- Ничего страшного, время есть! Релиз только в понедельник!

В информатике тестирование пар или парное тестирование — это комбинаторный метод тестирования программного обеспечения для каждой пары входных параметров в систему c проверкой возможных дискретных комбинаций этих параметров. Гораздо быстрее использовать тщательно подобранные тестовые векторы, чем полный перебор теоретических комбинаций параметров, путем «распараллеливания» тестовых пар. Распространенные ошибки в программе вызываются либо одним входным параметром, либо взаимодействием между парами параметров. Ошибки, связанные с взаимодействием между тремя или более параметрами, становятся менее распространенными и дорогими для поиска — ограничение, тестирования возможных входных данных. Комбинаторный метод выбора тестовых случаев с тестирование теоретических пар - полезный компромисс между затратами и выгодами, сокращающий количество тестовых случаев без ущерба для функционального охвата.

Научимся пользоваться, запускать, устанавливать allpairs. Для продолжения изучения утилиты, ознакомьтесь с техниками тест-дизайна «Техника тест-дизайна: Попарное тестирование (pairwise testing, all-pairs testing)» и «Техника тест-дизайна: Классы эквивалентности (equivalence partitioning)». Allpairs предназначен помочь в автоматическом формировании тестовых комбинаций, пар.

Для скачивания перейдите по ссылке на сайт и нажмите кнопку «Download», либо в разделе "Материалы для скачивания". Совет, установить allpairs на диск C, D. Проще добираться и не возникнет лишних проблем, если в пути к каталогу появятся пробелы и русские символы. Зачастую неправильно воспринимается кодировка или ошибка с поиском пути.

 

 

Утилита Allpairs

Какие преимущества allpairs по сравнению с другими программами и утилитами? На первый взгляд, уступает конкурентам, но мнение ошибочное, allpairs:

  • бесплатный (open source);
  • удобен в использовании;
  • работает из консоли под Windows, Linux, Mac;
  • отдел безопасности организации с вероятностью 99,99% одобрит утилиту allpairs; 

Если улыбнулись над последним пунктом, то смею огорчить, немногие организации разрешают ставить, что вздумается и взаимодействовать с разработанном ПО. Зачастую будете писать полотно текста, доказывая необходимость утилиты в работе, а веб версию никто не разрешит.

 

Инструкция по использованию, установке Allpairs

Определимся с набором используемых данных. Для наглядного отображения полезности утилиты, сделаем таблицу с классами эквивалентности, на основании требований:

П.1. На странице поиска сформировать фильтры в виде текстовых полей: имя клиента, организация, ИНН, номер договора. Добавить чек-бокс с параметром «Действующий договор». Поля «Имя клиента», «Организация», «ИНН», «Номер договора» с максимальной длиной 50 символов и минимальным 3. В поля доступен ввод только кириллицы, латиницы, пробелов, дефисов. Остальные спецсимволы недоступны. Лишние пробелы, дефисы(Больше одного подряд) удалить.

Требования прочли, составили таблицу с помощью техники классов эквивалентности и граничных значений:

В чем преимущество allpairs? Скопируйте таблицу в Excel из раздела "Материалы для скачивания" (Последнюю строку копировать полностью). Для удобства перенесите данные в Excel перед отправкой в текстовый файл для allpairs. Альтернативой, можете с помощью клавиши «Tab» в текстовом редакторе отделять столбцы, строки.

 

Для понимания разметки файла утилитой allpairs используется клавиша "Tab"

 

Копируем в текстовый файл (testpairs.txt) в папке allpairs (для удобства) и оставляем без изменений:

Cовет, удалить самую последнюю строку, чтобы курсор находился, как показано на скриншоте(Перевести курсор на последнюю строку и нажать один раз клавишу «Backspace» на клавиатуре):

Сохраняем файл и открываем командую строку. Пути для открытия командной строки в Windows 10:

  • через меню «Пуск»;
  • возле меню «Пуск» нажать клавишу поиска и вводим «cmd»;
  • нажать комбинацию клавиш «Win» + R, ввести cmd и нажать клавишу «Enter» на клавиатуре

Перейдите в каталог c распакованным allpairs. Созданный каталог D:\pairs:

Введите следующую комбинацию и нажмите клавишу «Enter» на клавиатуре для использования allpairs:

allpairs.exe testpairs.txt > testcases.txt

Команда для запуска allpairs в MacOS, Linux :

perl allpairs.pl testpairs.txt > testcases.txt

allpairs.exe – утилита allpairs

testpairs.txt – текстовый файл со скопированными наборами классов эквивалентности

testcases.txt – текстовый файл, созданный утилитой со сформированными проверками методом попарного тестирования (pairwise testing, all-pairs testing). Название текстового файла не принципиально.

 

Не указывайте формат XLS testcases.xls выходным файлом. Периодически, появляются проблемы с кодировкой и внутренними ошибками. Выгружайте кейсы в txt формат с копированием в excel.

Ошибка "Error in the table" в allpairs:

Error in the table. This row:

50Р?РёС?РёР>Р>РёС┼Р°+Р>Р°С'РёР?РёС┼Р° +Р?С?Р?Р+РчР>С<+РЎРїРчС┼С?РёР?Р?Р?Р>С<    Р?РёС?РёР>Р>РёС┼Р°+Р>Р°С'РёР?РёС┼Р° +Р?С?Р?Р+РчР>С<+РЎРїРчС┼С?РёР?Р?Р?Р>С<      Р?РёС?РёР>Р>РёС┼Р°+Р>Р°С'РёР?РёС┼Р° +Р?С?Р?Р+РчР>С<+РЎРїРчС┼С?РёР?Р?Р?Р>С<     Р?РёС?РёР>Р>РёС┼Р°+Р>Р°С'РёР?РёС┼Р° +Р?С?Р?Р+РчР>С<+РЎРїРчС┼С?РёР?Р?Р?Р>С<

has 5 columns instead of 6.

The data table should be tab delimited. Each row of the table must have the same number of columns as the first row (the label row). Check for extra tabs or spurious lines in the table.

Ошибка нарушения разметки и логики файла со изначальными классами эквивалентности. Совет, скопировать заново тестовый набор из Excel(Вероятно, удалена табуляция) или скопировать из txt обратно в Excel и проверить вставленные значения в ячейки.

Успешный результат утилиты показан на скриншоте (Ошибки и предупреждения отсуствуют):

Утилита отработала корректно и создала файл testcases.txt:

Открыв testcases.txt, получаем наборы проверок (для тест-кейсов и чек-листов):

Самое сложное в использовании утилиты allpairs – это разбить на классы эквивалентности. Совет, для удобства копировать и переносить в Excel.

Тестовые случаи:

Pairings – количество уникальных пар в тест-кейсе

Дополнительная информация:

Pairing details – перечень пар

Appearances – количество раз, сколько пара фигурирует в кейcах

Cases – номера кейcов, где фигурирует данная пара

~ - переменное значение (Заменяется на альтернативное)

 

Заключение

Утилита allpairs составит список проверок функционала методом попарного тестирования, но не обладающая логическим интеллектом, например, «Длина поля» = «Пустое поле», прося ввести «Кириллица+Латиница».

Утилита призвана помочь, а не выполнить работу. Придётся потрудиться для получения следующего результата:

 

 

Материалы для скачивания:

 

Для комментирования необходимо авторизоваться