четверг, 31 октября 2013 г.

Fun ConfeT&QA Осень-2013. Третий день. Обзор.

Отзвучали выступления последнего 31 3 дня Fun ConfeT&QA, а пока идет голосование за лучшего докладчика, давайте вспомним первый, второй дни, а ниже - поговорим о третьем, тем более что доклады стоят быть отмеченными.

Стартовал Алексей Лупан "Мелочь пузатая, или Объем тест-кейса против содержательности" - одно из  самых длинных названий доклада из представленных, и самая краткая аннотация. Алексей говорил о том, как надо писать тест-кейсы. Холиварная тема, чтобы не сбиться с идеи докладчика, рекомендую прослушать доклад в спокойной атмосфере, вдумчиво, попробовать на своих проектах, обсудить. И ... прослушать еще раз. Для начала - авторская ссылка http://bit.ly/16JP0rQ. И плюс тезисы доклада:
- как нужно писать тест-кейсы:
  - сперва нужно читать документацию
  - тесты надо придумывать до начала приступа (отличная фраза!) тестирования
  - весь упор нужно делать на идеи (идеи - основа всего)
- тест-кейсами надо пользоваться (а не писать)
- слабость чек-листа - отсутствие контекста, что делать
- тест-кейсы пишутся итеративно
- нужно уметь быстро записывать свои соображения в блокнот
- 1 идея - 1 проверка - 1 кейс

Следующий доклад - Николай Москаленко "Юзабилити анализ интерфейса с карандашом в руке". Николай предложил новую методику, как оценивать юзабилити, и на простых примерах продемонстрировал, как это работает. Вся "соль" этого доклада - в примерах, алгоритмы простые и понятные для начинающего usability-тестировщика. Отлично структурированный и преподнесенный доклад с правильными мыслями. Неожиданный фаворит Конфетки, в плюс - и отзывы в Твиттере во время и после доклада.
Учимся видеть usability-баги:
- различие между главным и остальным (четкая иерархия, главное - только одно)
- отсутствие инструкции
- дайте подышать (интерфейс не перегружен)
- меньше - лучше (только нужное в настоящий момент, нет элементов "на всякий случай")
- принцип пяти секунд (смотрим на интерфейс 5-7 секунд и спрашиваем себя:
  - куда я попал?
  - что я должен здесь сделать?
  - почему я должен это сделать?
Основные принципы дизайна:
- контраст
- акцент
- приближенность (группировка, количество элементов в группе - не более четырех)
- выравнивание
- повторение
- целостность

И "совиной песней" конфетки прозвучал доклад Ирины Винокуровой "Мы не баги, или как научить программистов тестированию". Красивые слайды, формат "story telling" о жизни тестировщика и программиста, как найти общий язык, говорить "так делать можно, а так - нельзя", "мир-дружба-шоколадка".

Вот и закончилась конфетка, не буду говорить долгие красивые речи, как Гусман на КВН, просто скажу, что с нетерпением жду следующую Конфету, возможно, опять подготовлю доклад, идеи в пороховнице есть. И спасибо докладчикам за эти три дня, за Funтастическую конференцию и атмосферу. QA show must go on!

среда, 30 октября 2013 г.

Fun ConfeT&QA Осень-2013. Второй день. Обзор.

Fun ConfeT&QA продолжается, вчера прошел второй день, и уровень докладов как минимум удержал планку первого дня, о котором я написал здесь

Первым выступал Алексей Петров с докладом про боевые листки Вестники Тестирования. Проблема - есть формальная документация, есть новости проекта и большая команда. Собирать всех и пересказывать все - не всегда есть возможность, да и нужно ли? Предложенное Алексеем решение - вестники тестирования, сочетающие долю формальных знаний по проекту, полезную информацию по тестированию (ссылки на статьи, видео, конференции, обзоры) и новости об отделе и проектах. На форуме прозвучали вопросы про количество человек в команде тестирования (в маленьких командах смысла не имеет - не хватит новостей, стоит попробовать при команде от 15 человек), времени на вестник (это личное, рабочее - если распределить между тест-менеджерами и тест-лидами по проектам - у каждого занимает 10-15 минут в неделю), специфике команд (предположу, что в распределенных командах польза от вестника будет выше) и конечно, просьбы к докладчику показать реальный вестник. Что же, будет интересно посмотреть боевой листок Алексея на форуме.

Следующий докладчик - Рина Ужевко, про то, Как не попасть в “ловушки” на пути к успеху. Замечательная, очень красочная презентация и не менее интересный доклад с некоторой долей здорового скептицизма о том, как найти баланс между развитием и пользой, теорией и практикой. Для себя выписал ловушки, озвученные Риной, к которым буду обращаться периодически. Рефлексия - хорошая штука :)
- Будь открыт всему новому (интересно все, но выбираем то, что нужно)
- Плавали - знаем (двух одинаковых билдов не бывает)
- Каков билд! Вау! (не заигрываться)
- Протоптанной тропой (у него опыт, он лучше знает - неверно)
- Надо всем понравиться (не хватит времени на свои задачи)
- Хвататься за все (созвучно первому пункту)
- Я и так гуру (постоянно развиваемся)

И завершила второй день Наталья Руколь с докладом про Управляемое исследовательское тестирование. Ну что еще такого сказать про доклады Наташи, что еще никто не говорил? Правильно, надо не говорить, а конспектировать! Все четко, отличная речь, слайды и идеи, которые надо брать и пробовать, сразу :) Субъективно, для меня самый полезный доклад, который нужен был именно сейчас. Оставлю и вам конспект доклада, уверен, пригодится.
- нужен баланс между беспорядочным и полностью формализованным процессом тестирования.
Стратегии и компромиссы (названия авторские):
- полудокументация;
- все готовенькое (чит-листы, usability guidelines);
- исследовательское покрытие (покрытие кода, cross checking, мутационное тестирование);
- устная бюрократия;
- сессионное тестирование (Бах его знает);
- совмещение.

Продолжение - уже сегодня! Что день грядущий нам готовит? Сегодня узнаем.

вторник, 29 октября 2013 г.

Fun ConfeT&QA Осень-2013. Первый день. Обзор.

Всего две недели назад закончилась Chief, отгремели фанфары победителям и призерам (приятно, что в такой компании тестировщиков, мне удалось занять четвертое место и получить третий приз), как стартовала Fun ConfeT&QA. О формате Конфетки и ее плюсах и особенностях я уже рассказывал в одном из предыдущих постов, так что перейду сразу к докладам и докладчикам.

Конфетку начал Евгений Ефимов с рассказом, "Как посчитать время на тестирование так, чтобы все поверили". Признаюсь, ожидал больше общих фраз и универсальных рекомендаций, и поэтому был приятно удивлен, что Евгений предложил формат мастер-класса с цифрами и конкретными примерами по расчету времени. Было предложено три варианта оценки - грубая экспертная, грубая дедуктивная и индуктивно-опытная. Приведены формулы расчета оценок, корреляция  между ними, что делать, если оценки сильно отличаются, какой оценке следует доверять больше и почему. Евгений рассмотрел 4 кейса:
- есть ТЗ, сколько времени уйдет на тест-кейсы
- вот кусок функционала, сколько уйдет на тестирование
- провокационный вопрос: "чем вы занимаетесь там в тестировании, почему не успеваете". Как ответить?
- билд выкатили в пятницу, сколько времени надо на тесты.
Получился очень полезный доклад, плюс порадовали ответы на вопросы, так что в форуме докладчика тоже обещает быть интересно.

Второй доклад - от Татьяны Андреевой о том, "Как взглянуть на свою работу под другим углом".  Выступление о том, что "нужно изменить привычную картину мира", довольно часто мы приходим к этому, когда в очередной раз ходим по кругу, выполняя одни и те же активности изо дня в день. Татьяна предложила два способа для изменения: общаться и нарушать правила. Общаемся с тестировщиками, разработчиками, техподдержкой и конкурентами (последнее особенно заинтересовало) - пожалуй, в каждой Конфетке говорится про общение. Видимо, есть еще тестировщики, которые любят играть в "партизанов" и не рассказывать про критические баги вплоть до релиза... Общение со всеми заинтересованными лицами нужно вводить одним из первых пунктов в будущий кодекс тестировщика :)

Вторая часть доклада - про нарушение правил - и по словам докладчика, спорна, в твиттере, вызвала неоднозначные реакции (уверен, что обсуждение продолжится в форуме). Все зависит от проекта, докладчица рассказала, что работает у нее, у других может не работать. Например, про качество баг-репортов. Их "ухудшение" в общем виде - довольно странно, чаще проблема обратная: программист приходит с не воспроизведенным багом. Можно, конечно, поговорить еще про зависимости: если тестировщик знает, кто будет данный баг "чинить", писать необходимые детали именно для этого разработчика. Но опять же, при недостатке, а иногда - и полном отсутствии документации в аджайл-процессах- подробные баг-репорты позволят быстрее вспомнить особенности данного функционала. Да и не только в аджайле. Вернемся к "стенограмме" бага через несколько месяцев - вспомним ли мы, о чем этот баг?
Еще идеи докладчика:
- использовать помидорную технику деления рабочего интервала на отрезки. Как докладчик по тайм-менеджменту в тестировании, согласен, но опять же, не всем подойдет :)
- пробовать что-то новое при повторном тестировании по чеклистам. Напомнило доклад Сергея Вербенко "Регрессионное тестирование методом свободного поиска"

И в завершении - Алексей Баранцев с докладом "Баг не воспроизводится… Что делать?!". Отличный доклад от мастера, прекрасные запоминающиеся слайды, все четко разложено по полочкам. Как обычно, Алексей - один из главных кандидатов на победу в конфетке. Очень интересные истории про неуловимые баги. Рекомендуется к просмотру.
Небольшой конспект доклада:
- нашел баг - не значит поймал.
- если "нашел баг, но не знаю, что делал" - вспоминать поздно, нужно готовиться заранее: скринкасты, лог-файлы, дебаг, ручные заметки;
- "все повторяю в точности, но ... не воспроизводится" - ты уверен, что в точности?
- иногда - не надо все в точности: причина может быть в далеком прошлом, помним про скорость, баг может воспроизводиться только в первый раз;
- "пишите баг-репорты качественно"; +1
- помните про "эффект наблюдателя"
- игра "найди n различий". Проблема: не знаем, сколько всего различий и какие нам важны для бага;

В целом, получился очень информативный и насыщенный день, продолжение уже сегодня!

понедельник, 21 октября 2013 г.

Куда уходит все время - перевод статьи Майкла Болтона

На прошлой неделе отзвучали сладкие ноты онлайн-конференции по тестированию ПО Chief Confet&QA. Как всегда, были очень интересные доклады, ценные мысли, а главное - дополнительный заряд мотивации действовать и развиваться. Чуть подробнее свои мысли по докладам я напишу в одном из следующих постов.

А сегодня я подготовил перевод статьи Майкла Болтона "Куда уходит все время" (Michael Bolton - "Where Does All That Time Go?"), о которой я рассказывал на своем конфетном докладе о тайм-менеджменте в тестировании. Статья очень интересная и поучительная, поэтому рекомендую к прочтению.

Ссылка на оригинал  -  http://www.developsense.com/blog/2012/10/where-does-all-that-time-go/
Формат текста (выделение терминов, курсив, цитирование) и ссылки на другие статьи из текста взяты с оригинала "как есть".

В конце долгого и трудного дня небольшая компания одноклассников собралась на встречу в одном из ресторанов в центре города. Основные блюда были съедены и убраны со стола, нам принесли пиво и мы сидели в ожидании десерта. Петр (это вымышленное имя) продолжал жаловаться о том, сколько времени он вынужден тратить на административные задачи - встречи, заполнение форм, расписаний, заявок и т. п.

- Все это отнимает столько времени. Когда мне нужен лист бумаги для заметок, я обязательно должен заполнить соответствующую форму. Боже, спаси меня, если формы вдруг закончатся!
- Сколько времени ты тратишь на подобную работу каждую неделю? - спросил я.
- Около часа в день. Иногда два. Встречи... Скажем, полтора часа в среднем.
- Вау, это ощутимая часть этой недели. У меня есть идея.
- Давай изобразим это, - сказал я и достал мой верный молескин. Я предпочитаю вариант в клеточку для таких случаев, как этот. Я нарисовал прямоугольник, 20 клеточек в длину и 2 - в ширину.


- Итак, ты тратишь в среднем полтора часа в день на согласование (C - compliance stuff). Полтора умножить на пять, или семь с половиной часов в неделю. Давай округлим до восьми. Напиши С в восьми клетках.

Петр так и сделал.


- Хорошо. - сказал я, - А теперь напрягись и вспомни, сколько ты потратил времени на борьбу с тестовым окружении.

Глаза Петра загорелись.

- Да! - воскликнул он. - Это большая часть дня. Смотри, это мобильное приложение. У нас есть серверная  компонента и клиентская, с которой мы имеем дело, и серверная компонента - это настоящий слон.
- Расскажи-ка подробнее.
- Долгая история. Мы получаем окружение, которое моделирует систему на продакшн. Софт, который мы разрабатываем, содержит столько багов, что мы не можем определенно сказать, является ли эта проблема общей, или воспроизводится только для некоторой модели телефонов, и поэтому мы заводим еще одну конфигурацию для того, чтобы провести целенаправленное тестирование каждый раз, когда мы добавляем поддержку нового телефона. Это то, над чем я сейчас работаю. Проблема в том, что настойка нового телефона крайне скрупулезна и занимает очень много времени. Я должен делать все очень внимательно. Я несколько раз просил время на то, чтобы автоматизировать процесс настройки некоторых конфигураций, но мне отказали, так как времени недостаточно, мы и так постоянно в цейтноте. Поэтому, я вынужден делать это вручную. Процесс запутанный, и во время него я часто ошибаюсь. С другой стороны, если я обнаруживаю, что что-то не работает, я должен выяснить, почему. Это означает, что я должен сообщить об этом разработчикам и разобраться, в чем ошибка; затем я должен вернуться назад к тестированию нового окружения. И чаще всего, приходится начинать тестирование с самого начала. Это отнимает часы. И так каждый день.
- Окей. Давай запишем это в нашей маленькой таблице, прямо здесь. Напиши S в каждой клетке для каждого потраченного часа в неделю.

После этого Петр принялся заполнять клеточки. Один десяток, второй. И затем еще восемь клеток.


- В самом деле?! - воскликнул я. - Двадцать восемь часов в неделю, разделенные на пять дней - это более пяти часов в день. Ты серьезно?
- Абсолютно - вздохнул Петр. - Это занимает большую часть, иногда весь день. Это скучно. Что в самом деле меня убивает, так это то, что я не ощущаю, что занимаюсь тестированием.
- Я не шучу. На это нет времени. Остаются только четыре клеточки в неделю. Плюс, то, о чем ты уже говорил - тонны багов, которые не относятся к настройкам и целенаправленному тестированию.
- Это так. Когда дело доходит до тех вещей, которые на самом деле нуждаются в тестировании, в них тоже находится множество багов. Таким образом, мое время на тестирование - не чистое тестирование. Это в основном время, потраченное на то, чтобы воспроизвести и задокументировать баг.
- Да. В сессионном тестировании, это исследование и документирование бага - Б-время. И оно прерывает время на дизайн и выполнение теста - Т-время - которое создает актуальное покрытие тестами и позволяющее изучить, что в самом деле происходит в продукте. Так, сколько занимает Б-время?

Петр поставил букву Б в три из четырех клеток.


- И, наконец, Т-время?

У Петра осталось только место для одной буквы Т в правом нижнем углу.


- Вау, - усмехнулся я, - одна сороковая часть твоей целой недели уходит на получение реального покрытия тестами. Остальное - накладные расходы. Говорил ли ты им, как это влияет на твою работу?
- Я упоминал об этом - ответил он.
- Давай посмотрим - предложил я- Если мы будем использовать цвета, это станет еще более очевидным.


- М-да, я никогда не смотрел на эту проблему таким образом. И затем, - Петр остановился. - Они спрашивают меня, почему я не обнаружил этот баг?
- Хорошо, -  сказал я, - учитывая заблуждение, в котором они, скорее всего, находятся, вопрос небезосновательный.
- Что ты имеешь в виду? - спросил Петр.
- Что написано у тебя на визитке?
- Тестирование ПО.
- Что написано у тебя на двери твоей тестовой лаборатории?
- Тестовая лаборатория - ответил Петр.
- И они называют тебя...
- Петр.
- Нет! - я улыбнулся. - Они говорят, что ты ... кто?
- Тестировщик.
- Итак, с того момента, как ты тестировщик, на двери у тебя написано "тестовая лаборатория", на визитке - "тестирование", они полагают, что тестирование - это все, что ты делаешь. Это заблуждение, которое Джерри Вейнберг называет проблемой укрупнения. Все из перечисленных активностей - административная работа, установка, исследование и документирование бага, проектирование и выполнение тестов, - для них это одна большая идея. И я нарисовал ее Петру.


- Это заблуждение менеджмента. С того момента как, в их воображении, у тебя есть сорок часов на тестирование в неделю, и для них это нормально - спросить, почему ты не обнаружил этот баг.
- Хммм... Так и есть. - согласился Петр.
- Когда в реальности они получают это. И я нарисовал для Петра.


- Для тестирования - реального взаимодействия с продуктом, поиском проблем, ты получаешь одну сороковую часть времени, которое они думают у тебя есть. Одну-единственную букву Т. Это входит в твой отчет о тестировании?
- Оу, пожалуй, мне стоит показать им это.
- Пожалуй, стоит.

Несколько дней спустя, я показал эту страницу из блокнота Джеймсу Баху.

- Вау! - ответил он. - Этот парень может быть в сорок раз продуктивнее!
- Сорок?
- Ну нет, не совсем, конечно. Но предположим, программисты проверят свою работу более тщательно, или предположим, что тестировщики попрактикуются в написании более точных отчетов о дефектах и отточат свои исследовательские навыки. Одна из этих двух вещей поможет сократить время на треть на исследование дефекта. Это позволит освободить больше времени на тестирование, если тестировщиков не будут отвлекать. Что если наполовину сократить время на согласование и борьбу с тестовыми окружениями?
- Четыре плюс четырнадцать... - посчитал я. - Это даст ему восемнадцать дополнительных часов на тестирование и исследование багов. Итого 22 часа. И даже если они будут продолжать тратить по два часа на исследование багов для каждого часа времени на тестирование... Отлично, это значит, продуктивность возрастет в семь раз, как минимум.
- В семь раз больше времени на тестовое покрытие, если предложенные идеи сработают. - ответил Джеймс.
- Может быть, разделение времени на составляющие - это то, что захотят сделать многие тестировщики в своей работе.

А как обстоит дело у вас?

Майкл Болтон, 30 октября 2012 года.

вторник, 1 октября 2013 г.

Рубрика "ПочитайQA". Полезные ссылки за сентябрь-2013

Продолжаем рубрику "ПочитайQA" - список интересных ссылок за сентябрь. Если хотите прикоснуться к ушедшему лету, подборку ссылок за август можете почитать здесь.

Прошедший сентябрь получился "hard-study", прошел в обучении и подготовке. Кроме того, специально для блога я подготовил и опубликовал перевод широко известной статьи Майкла Болтона "Тестирование и проверка" - Testing VS Checking. Если вы еще не читали только потому, что "я не очень хорошо знаю английский", то вам сюда - http://qastugama.blogspot.com/2013/09/blog-post_6.html. Также я разместил адаптированную версию моего доклада на SQA Days-13 "Рост команд тестирования: мифы и реальность", первая и вторая части.
Очень много событий предстоит в октябре.

  • 14 октября стартует Chief Confet&QA - http://confetqa.ru/program-chief/ - жду с нетерпением встречи с вами и ваших вопросов по тайм-менеджменту. Выступаю 15 октября, во вторник. Это будет мое второе выступление на Конфетке и первое - на Chief. Команда докладчиков подобралась серьезная, опытная, есть чему поучиться у них, поэтому обязательно подключайтесь к Конфетке, три дня выступлений, ответов на все ваши вопросы, выборы лучшего докладчика, и ... просто заряд гремучей смеси опыта и драйва. Не пропустите!
  • 12 октября в Минске состоится экзамен ISTQB Advanced Level Test Manager, к которому я тоже сейчас готовлюсь. О данной сертификации и своем опыте я обязательно напишу в этом месяце.
  • Продвигается и мое обучение по программе Mini-MBA, цель закончить к декабрю по-прежнему актуальна. 
А теперь - список ссылок, напомню, как осуществляется разбиение статей на группы:

QA - Quality Assurance, обеспечение качества  во всей красе со всего мира. Наиболее заинтересовавшие меня статьи по профильной теме за месяц.
STU - Studying, образование и самообразование, обучение.
GA - Gamification, или геймификация тестирования, обучения, управления - всех составляющих Qastugama.
MA - Management and leadership - управление командой, людьми, лидерство. Все составляющие Management.
+
Books - обзоры прочитанных и/или рекомендованных книг.
+
Other - "сборный раздел". То, что не относится к предыдущим четырем темам, но то, чем я хотел бы с вами поделиться.
+
Bonus.Fun. - (не)серьезно о тестировании.

Quality Assurance.


Studying.


Gamification.


Books.


Management.


Other.


Bonus. Fun.


На этом все, до следующих встреч!