Перейти к содержимому

Тестирование REST API
онлайн, начало 2 августа
Docker: инструменты тестировщика
онлайн, начало 29 июля
Автоматизация тестов для REST API при помощи Postman
онлайн, начало 29 июля
Аудит и оптимизация QA-процессов
онлайн, начало 30 июля

lurk

Регистрация: 11 мая 2014
Offline Активность: 08 апр 2016 17:55
*****

Мои темы

Чеклист процесса

21 сентября 2015 - 17:07

В голове тестировщика крутится огромное количество информации. И если начинающий тестировщик допускает ошибки из-за незнания, то опытный тестировщик обладает глубинной знаний допускает часть ошибок из-за того, что некоторые моменты остаются за границами его внимания. Случаются ситуации, когда пропускается базовое тривиальное, но важное действие. Мощная практика составление контрольных вопросов для процесса позволит снизить фатальные ошибки от досадных пропусков.

 

Про практику контрольных вопросов прочтите главу 9 книгиСистемноинженерное мышление в управлении жизненным циклом” (Анатолий Левенчук).

Про успешные примеры внедрения чеклистов узнаете из книгиЧек-лист: Как избежать глупых ошибок, ведущих к фатальным последствиям” (Атул Гаванде).

Чеклисты для тестирования найдете в книгеКлючевые процессы тестирования” (Рекс Блэк).

 

Заключение: Для важных процессов, в которых банальная ошибка приводит к плачевному результату контрольные вопросы ваш хранитель.

 

Дополнительная информация:

1. Чек лист процесса: Initiation - Planning - Execution - Finalization - Closure (Александр Селяев)

2. Как с помощью простого чек-листа можно повысить эффективность простого процесса (Валерий Казарин)

3. Все лето в один день (Рэй Брэдбери)

 

PS: Благодарю Алексея Фёдорова за рецензирование.


Итоговый отчет о тестировании

16 сентября 2015 - 19:51

Итоговый  отчет  о  тестировании  (test  summary  report):  Документ,  подводящий  итог  задачам  и 
результатам тестирования, также содержащий оценку соответствующих объектов тестирования 
относительно критериев выхода. [IEEE 829]  
 
Теория:
1. Пример отчета по тестированию (Сергей Мартыненко)
 
Примеры отчетов:
1. Отчеты о тестировании (Московская биржа)
 
Данный вид отчетов хорош для подачи руководителю проекту. Поэтому нужно чтобы данный отчет был удобен руководителю проекта для восприятия и принятия решения о выпуске. Поэтому не надо в него загонять информацию о том сколько багов было найдено и уже пофикшено благодаря нашим стараниям. Данный отчет пишется перед выпуском версии в релиз - и если Вы считаете, что в проекте есть проблемы - Вы так и пишите, что, например, "не работает сохранение файлов", поэтому рекомендую отложить/выпустить релиз. Резолюция/Рекомендация от Вас обязательный пункт для данного отчета. И если Ваше мнение не совпадает с мнением руководителя проекта ничего страшного. Он ответствен за дачу Добро на выпуск. Наше дело предоставить ему полезную информацию, позволяющую принять лучшее решение.

План тестирования

13 сентября 2015 - 21:09

Главный план тестирования (master test plan) или План тестирования проекта (project test plan): План тестирования,обычно охватывающий несколько уровней тестирования. [ISTQB Glossary 2.3]
План  тестирования  (test  plan):  Документ,  описывающий  цели,  подходы,  ресурсы  и  график
запланированных  тестовых  активностей.  Он  определяет  объекты  тестирования,  свойства  для тестирования,
задания,  ответственных  за  задания,  степень  независимости  каждого тестировщика, тестовое  окружение,
метод  проектирования  тестов,  определяет  используемые критерии  входа и критерии  выхода  и  причины  их выбора,  а также  любые  риски,  требующие планирования на случай чрезвычайных обстоятельств. [IEEE 829] 
 
Определение:
2. Тест-план [TMGURU]
4. Тест-план [Testopedia] 
 
Как писать:
2. План тестирования - когда, кто и зачем? (перевод Максима Шульги)
3. ACC — 10 минутный план тестирования (из статьи "Как Google тестирует ПО")
5. Учимся писать тест планы (Katja Burla) - в статье отсутствуют картинки
 
Примеры плана тестирования:
1. Тест План (Юлия Нечаева)
2. Пример плана тестирования (Сергей Мартыненко)
 
Видео:
2. Написание тест-планов (Алексей Булат) - качество звука не очень
 
Интересно:
 
Обсуждения на форуме:

 

Бонус:

Вы правильно понимаете общий смысл. Модель, стратегия, бла-бла-бла, птичьи слова, я бы лучше сказал просто план - хорошее, годное, понятное слово.


Что бы сделал я? Взял бы пару листов А3 и написал:
- Что вообще можно тестировать - вообще все знакомые слова - юзабилити, орфографию, логику, регрессию, безопасность, нагрузочное тестирование, боевой сервер, тестовый стенд. Слов 20.
- Как я могу тестировать: пецкать руками, найти рабов бета тестеров, написать автотесты, записать сценарии, столкнуть работу на коллегу,
- Когда я буду это делать? Ночами, по утрам, 4 часа в день, срок - ближайший месяц, день, год. Исходя из сроков вычеркнуть нереальное из первых двух пунктов.
- Узнать, на кой это все надо. Чего от меня ждут. Может ждут сто багов. Может ждут качество. Может ждут отчет. С учетом этой строки - пересортировать все, что выше.
- Представить себе конечный результат. Список багов? Где этот список? На листочке? В трекере? Налаженный процесс разработки и тестирования? Как выглядит налаженность? Отчет? В экселе, в ворде? Как выдадут бабло? На карту, налом, вебманями?

Model Based Testing (Тестирование на основе моделей)

31 августа 2015 - 15:54

Предупреждение: Сложная тема. 

 

Тестирование на основе модели (model-based testing): Тестирование, основанное на модели исследуемого компонента или системы. Например: модели роста надежности, моделей использования (таких как функциональный разрез) или поведенческих моделей (таких как таблицы альтернатив или таблиц переходов состояний). [ISTQB Стандартный глоссарий терминов, используемых в тестировании программного обеспечения Версия 2.2]

 

Видео:

1. Тестирование на основе моделей: "ужас-ужас" или всё не так страшно? (Алексей Баранцев SQA Days 15)

2. Применение MBT для генерации тестовых сценариев для ручного и автоматического тестирования (Юлия Саенко SQA Days 13)

3. Micro Model Based Testing (Роман Иовлев SQA Days 17)

4. Тестирование на основе моделей (3 лекции Виктор Кулямин)

5. Тестирование на основе Модели (Александр Боциев - Intel, г. Нижний Новгород встреча QA Alliance 21 марта 2015)

6. Вы можете купить видео "Функциональное тестирование на основе моделей" (Алексей Баранцев).

 

Статьи:

1. Тестирование на основе моделей (Александр Петренко, Елена Бритвина, Сергей Грошев, Александр Монахов, Ольга Петренко)

2. Архитектура автоматизированных функциональных тестов: прагматичный подход к использованию Model-Based техник автоматизированного тестирования (Михаил Давыдов)

3. Тестирование на основе моделей (к.ф.-м.н. В. В. Кулямин) - можно скачать лекции по данному курсу

4. Метод разработки тестов для программных интерфейсов приложений на основе конечно-автоматной модели тестирования (К. В. Рубинов, В. В. Веденеев)

 

Цитаты:

Ага, я понял. Сергей, Вы смешиваете два понятия -- анализ моделей (model checking) и тестирование на основе моделей (model-based testing).

Анализ моделей -- это техника, цель которой состоит в моделировании какого-либо явления и изучения этой модели на полноту, непротиворечивость и т.д. Здесь действительно довольно хорошо работают методы логического программирования.

Тестирование на основе моделей -- это несколько другая техника, которая не занимается изучением того, хороша модель или плоха. Модель принимается за эталон, и задача ставится иначе -- проверить, что данная реализация соответствует модели (в более общем случае -- проверить соответствие двух моделей разного уровня абстракции, ибо реализацию тоже можно трактовать как модель). Для этого, конечно, тоже можно применять методы формального анализа (то есть формально выводить, что если некоторое свойство выполняется в одной модели, то оно выполняется и в другой), но, к сожалению, если на относительно простых моделях эти методы работают, применять их к реальным программам не удается из-за очень высокой сложности. Поэтому применяются другие методы и термин "тестирование на основе моделей" обычно относится именно к этим другим.

Чтобы понять разницу более фактурно, представьте, что Вы разработали замечательную модель, включающую всё, что Вам хочется (в том числе стихийные бедствия, пожары и т.д. :)), потом проверили, что эта модель действительно удовлетворяет всем требованиям, короче -- конфетка. А потом Ваши программисты разработали реальную программную систему, которая ЯКОБЫ реализует эти требования и ЯКОБЫ должна соответствовать модели. А как проверить, соответствует ли на самом деле? Вот этим и занимается model-based testing.

 

Здравствуйте!

 

Давно интересует вопрос, использует ли кто-то на практике тестирование на основе моделей (Model-Based Testing). Я имею в виду, для действительно сложных случаев, когда автоматически сформированные тестовые последовательности было бы сложно реализовать вручную.

 

Фактически, MBT соответствует технике тест-дизайна с применением диаграммы состояний и переходов.

Так вот, на практике встречал 3 случая:

1) Пытаются применить для автоматизации обхода очень простого набора состояний, для которого не составляет сложности написать кейсы вручную.

2) Учитывается состояние многих элементов интерфейса. В результате, количество комбинаций растет как степенная функция, и полный обход схемы выдает десятки тысяч кейсов. Если это кейсы на UI, время выполнения получается абсолютно нереальное. В итоге, всё равно начинаем искать основные маршруты с помощью человеческого разума, и составляем кейсы вручную.

3) Юнит-тесты, которые проходят за мгновения, поэтому несколько тысяч тестов - не проблема.

 

Интересно, в каких случаях возможно применение MBT, так, чтобы диаграмма была и не слишком простая, и не астрономически сложная.

Или же это всё миф, и концепт не имеет практического применения для "медленных" UI-тестов.

 

В качестве бонуса про model-based тестирование уже - Томми Такала и Мико Катара из Техноголического Университета Тампере применяя свой model-based-testing софт для BBC News виджета на Андроиде сообщили следующие цифры - 2/3 обнаруженных этим методом проблем были обнаружены в процессе составления модели, а еще 1/3 после прогона этих тестов. Это не повод не заниматься этим в принципе, но повод составить модель даже если у вас нет ПО или ресурсов на полноценную автоматизацию (да, я знаю что в model-based тестировании составление модели это чуть ли не самая затратная часть). (Сергей Высоцкий) - Отсюда.


Попарное тестирование (Pairwise testing)

31 августа 2015 - 09:11

Попарное тестирование (pairwise testing): Разработка тестов методом черного ящика, в которой тестовые сценарии разрабатываются таким образом, чтобы выполнить все возможные отдельные комбинации каждой пары входных параметров. [ISTQB Стандартный глоссарий терминов, используемых в тестировании программного обеспечения Версия 2.2]

 

1. Ещё раз про pairwise (Алексей Баранцев)

2. Разработка тест кейсов по методике pair wise (Никита Постолакий)

3. Обзор 4. Никита Постолакий "Разработка тест кейсов по методике pairwise" (Андрей Ладутько)

4. Pairwise testing with PICT (Алексей Федорко)

5. Метод попарного тестирования (Александр Федоров)

6. Что такое Pairwise Testing, и с чем его едят (Lena)

7. Тестируйте не числом, а умением (Scott Sehlhorst)

8. Pairwise testing: добиваемся оптимального покрытия различных тестовых комбинаций (Timur Gilmullin)

9. Pairwise testing. Part 1 - Orthogonal Arrays (вольный перевод Chapter 6 из книги "A Practitioner'S Guide To Software Test Design" by Lee Copeland) (Pasha Ivanyushyn)

10. Pairwise testing. Part 2 - AllPairs Algorithm  (Pasha Ivanyushyn)

Прочее: Available Tools - инструменты. Если не знаете, что выбрать используйте PICT или ALLPAIRS.

 

Жирным выделены ссылки на видео.

 


Яндекс.Метрика
Реклама на портале