пятница, 5 июля 2013 г.

Обзор 4. Никита Постолакий "Разработка тест кейсов по методике pairwise"

И опять - продолжение серии постов-обзоров. Доклады в подборке получаются разноплановые: были на русском и на английском, доклад-пазл с набором фишек для тест-менеджера, классический от гуру, story-telling... Теперь посмотрим мастер-класс по тест-дизайну с конференции SQA Days 11.

Сегодня у нашей рубрики виртуально в гостях Никита Постолакий "Разработка тест кейсов по методике pairwise". Pairwise testing или техника тестирования попарных комбинаций - один из методов черного ящика, применим для оптимизации количества проводимых тестов.

Однозначно must see для тест-дизайнеров, отличный доклад, будет полезен для ознакомления с этим замечательным методом, его применением и использованием одной из возможных бесплатной специальной тулы для моделирования тестов по pariwise - PICT. Полный список тулов для pairwise можно найти, например, здесь.

Еще к плюсам выступления Никиты можно отнести подачу материала в доступной форме, с ответами на вопросы прямо по ходу доклада. И еще, кроме самого pairwise, интересен сам процесс программирования модели из полученных входных данных.

Pairwise использует предположение (по докладу - исследование IBM), что к 97%  ошибок в ПО приводит взаимодействие всего двух параметров между собой. Поэтому, в случае если у вас, например, 3 параметра, у каждого из них 4, 5, 7 возможных значений соответственно, то не всегда имеет смысл проводить полный перебор всех возможных триад-комбинаций, количество которых в нашем примере равно 4 * 5 * 7 = 140. А что, если параметров не 3, а намного больше? А если увеличить не только количество параметров, но и возможных значений? Полный перебор займет очень много времени, и будет не очень эффективен в плане нахождения всех ошибок, так как...


Но я уже потихоньку начинаю пересказывать содержимое мастер-класса :) Чтобы не лишать вас этого удовольствия, рекомендую к просмотру. А под видео помещаю свой конспект, для того, чтобы восстановить в памяти ключевые моменты лекции.

В заключение, я дам вам еще несколько полезных ссылок на источники по pairwise-тестированию:

  • http://www.amibugshare.com/pict/help.html - инструкция по PICT
  • Доклад Алексея Баранцева на осенней Confet&QA-2012
  • Книга Рекса Блэка "Advanced Software Testing - Vol. 1", раздел 4.3.
  • http://hexawise.com - Сайт для генерации тестов по pairwise, довольно удобная альтернатива PICT. Очень удобная встроенная система обучения пользованию этим сайтом, рекомендую к прохождению.


Видео доклада:

Конспект:


  • "К 97%  ошибок в ПО приводит взаимодействие всего двух параметров между собой" - исследование IBM
  • Предварительная оптимизация данных: классы эквивалентности + граничные значения
  • При добавлении сложных условий для пар - используем тулы (автоматизируем генерацию пар)
  • Алгоритм разработки модели pairwise: сбор входных данных, оптимизация данных, описание зависимостей, автоматическая генерация тестов
  • Требования к pairwise-инструменту: условия, типы данных, алиасы, негативные тесты, приоритизация (предпочтительные значения, наиболее приоритетные для проверки), регрессионные наборы (повторное использование при расширении набора)
  • PICT, построение модели

Презентация доклада:

Комментариев нет:

Отправить комментарий