Перейти к содержимому

Тестирование REST API
онлайн, начало 26 августа
Школа тест-менеджеров v. 2.0
онлайн, начало 21 августа
Школа для начинающих тестировщиков
онлайн, начало 22 августа
Программирование на C# для тестировщиков
онлайн, начало 23 августа
Фотография

Какие тесты автоматизировать?


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 27

#1 baranceva

baranceva

    Гуру

  • Admin
  • PipPipPipPipPipPip
  • 3 109 сообщений
  • ФИО:Баранцева Наталья


Отправлено 21 Март 2019 - 07:16

Автор: Виктор Славчев (Viktor Slavchev)
Оригинал статьи
Перевод: Ольга Алифанова

 

Эта часть ретроспективных уроков автоматизации логично вытекает из предыдущей. Обсудим, какие тесты автоматизировать, какие тесты этого достойны, и какие тесты будут хорошими кандидатами на автоматизацию.

 

Я постараюсь быть честным, основываться на личном опыте и не лить воду. Я легко привлеку в свой блог тысячи читателей, просто повторяя всю ту чушь, которую несут в сети, но у меня есть принципы. Поэтому скажу так:

 

"Какие тесты автоматизировать" – неверный вопрос

 

Любой, проработавший в тестировании больше полугода, знает, что мы не "автоматизируем тестирование" – мы не можем и не будем этим заниматься. На самом деле мы автоматизируем часть процесса исполнения тестов, и это очень крошечная часть по сравнению со всем спектром деятельности, которой мы занимаемся в ходе тестирования. Думаю, я потратил достаточно букв, объясняя, что автоматизация – это не превращенное в код человеческое тестирование.

 

Это два раздельных и очень различных типа тестирования, имеющих разные цели. Они не взаимозаменяемы – они дополняют друг друга (см. "Горькая правда об автоматизации", "Не-ручной неавтоматизированный тестировщик").

 

Учитывая это, неверно говорить о том, "какие тесты автоматизировать" – такой вопрос предполагает, что мы автоматизируем то, что уже делаем вручную.

 

Читать статью полностью...


  • 0
Наталья Баранцева
Тренинги по тестированию ПО

#2 DReeborn

DReeborn

    Новый участник

  • Members
  • Pip
  • 6 сообщений
  • Город:Владивосток

Отправлено 25 Март 2019 - 23:18

Мне совсем не понятен бросок камня в сторону регресса. Автоматизация не заменит человека, это и так понятно, но она является подушкой для тестировщиков. И где ей лучше всего если не в регрессе? Где ещё лучше реализуются плюсы автоматизации как не в рутине?


  • 1

#3 TatyanaV

TatyanaV

    Опытный участник

  • Members
  • PipPipPipPip
  • 387 сообщений
  • ФИО:Воробьева Татьяна


Отправлено 26 Март 2019 - 06:04

Я тоже не согласна. Есть вещи, которые ДОЛЖНЫ оставаться неизменными вне зависимости от каких либо не связанных с ними доработок системы, и которые критичны для проверки. 

Например, если система должна принимать решения, в т.ч., к примеру, отказы при определенных условиях - почему же не автоматизировать такие проверки?

Мне кажется автор статьи упёрся в своё собственное понимание того, какой бывает регресс, поэтому не учитывает, что случаи бывают разные.


  • 0

#4 Сергей

Сергей

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 041 сообщений
  • Город:Москва

Отправлено 26 Март 2019 - 06:56

Статья норм. Подойдет тем, кто только задумывается, с чего начать автоматизировать. Автор не запрещает вам автоматизировать регресс при наличия ресурсов, времени, денег и прочего.


  • 0

"Если ты хороший плотник и делаешь красивую тумбочку, ты не будешь прибивать сзади фанеру, даже несмотря на то, что задняя часть повернута к стене, и никто ее не видит. Ты будешь хорошо спать ночью, только если тебе удалось воплотить в своем произведении эстетическую красоту и качество." © Стив Джобс


#5 Spock

Spock

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 477 сообщений
  • ФИО:Роман

Отправлено 26 Март 2019 - 10:10

 

 

Мне совсем не понятен бросок камня в сторону регресса. Автоматизация не заменит человека, это и так понятно, но она является подушкой для тестировщиков. И где ей лучше всего если не в регрессе? Где ещё лучше реализуются плюсы автоматизации как не в рутине?

автор утверждает что вот это “Automate your regression” не имеет смысла

 

что нормальное регрессионное тестирование это творческий процесс а не "прокликивание кнопок". Но если у вас манки-тестеры сидят делают "регрессию" и только кнопки прокликивают по скрипту, тогда пожалуйста, можно автоматизировать


  • 0

#6 SALar

SALar

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 2 228 сообщений
  • Город:Москва


Отправлено 26 Март 2019 - 19:22

Мне совсем не понятен бросок камня в сторону регресса. Автоматизация не заменит человека, это и так понятно, но она является подушкой для тестировщиков. И где ей лучше всего если не в регрессе? Где ещё лучше реализуются плюсы автоматизации как не в рутине?

Естественно  Ладно, не естественно. Но если немного подумать, то автоматизировать надо те тесты, которые находят ошибки. И начинать автоматизацию поиска ошибок естественно (ладно, надо немного подумать), надо не с регрессионного тестирования.

 

И, кстати, до автоматизации процесса поиска ошибок было бы крайне неплохо (вообще то обязательно) обеспечить CD (непрерывную поставку).

 

PS. Приходите на посиделки. Обсудим досконально.


  • 0

-- 

Сергей Мартыненко

Блог 255 ступеней

 


#7 TatyanaV

TatyanaV

    Опытный участник

  • Members
  • PipPipPipPip
  • 387 сообщений
  • ФИО:Воробьева Татьяна


Отправлено 27 Март 2019 - 06:53

"Автоматизировать надо те тесты, которые находят ошибки"...

Хм... Т.е. если тест перестал находить ошибки (всё пофиксили ) - он больше не нужен? Или всё же нужен, чтобы убедиться, что ошибки не вернулись? 

А если тест не находит ошибок сейчас, но это функционал, который крайне критичен (его поломка может привести к серьезным финансовым потерям организации) - его не надо автоматизировать, т.к. он "не находит ошибки"? Ждём пока начнёт находить? Так организация уже успеет на этом деньги потерять. Или всё же лучше критичный функционал проверять изначально?


  • 0

#8 Сергей

Сергей

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 041 сообщений
  • Город:Москва

Отправлено 27 Март 2019 - 07:06

Еще раз, никто не запрещает автоматизировать регресс, но начинать надо не с регресса, особенно после прохождения которого нет ошибок.


  • 0

"Если ты хороший плотник и делаешь красивую тумбочку, ты не будешь прибивать сзади фанеру, даже несмотря на то, что задняя часть повернута к стене, и никто ее не видит. Ты будешь хорошо спать ночью, только если тебе удалось воплотить в своем произведении эстетическую красоту и качество." © Стив Джобс


#9 TatyanaV

TatyanaV

    Опытный участник

  • Members
  • PipPipPipPip
  • 387 сообщений
  • ФИО:Воробьева Татьяна


Отправлено 27 Март 2019 - 07:10

Так статья об автоматизации в целом, а не о том, с чего "начинать".


  • 0

#10 Spock

Spock

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 477 сообщений
  • ФИО:Роман

Отправлено 27 Март 2019 - 08:17

автоматизировать надо чтобы всё работало, автоматизировать смотря в код, а не в регрессионный скрипт. поэтому и говорят что вот это "регрессионное тестирование" и не надо автоматизировать

 

писать юнит тесты, компонентные тесты, добавлять АПИ тесты, ну и потом е2е тесты. в итоге регрессионный скрипт вместе со всеми регрессионными тестировщиками станут просто лишними и никому не нужными


  • 0

#11 TatyanaV

TatyanaV

    Опытный участник

  • Members
  • PipPipPipPip
  • 387 сообщений
  • ФИО:Воробьева Татьяна


Отправлено 27 Март 2019 - 08:57

Ситуации бывают разные, но все меряют по себе.

У нас лишнее => у всех лишнее.

Нам не нужно => никому не нужно.

Слишком однобоко, как мне кажется.


  • 0

#12 Spock

Spock

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 477 сообщений
  • ФИО:Роман

Отправлено 27 Март 2019 - 09:02

 

Ситуации бывают разные, но все меряют по себе.

У нас лишнее => у всех лишнее.

Нам не нужно => никому не нужно.

Слишком однобоко, как мне кажется.

ну так и расскажите про свою ситуацию, а так это просто "труизм", сказать что "у всех ситуации разные", это никакой не аргумент


  • 0

#13 TatyanaV

TatyanaV

    Опытный участник

  • Members
  • PipPipPipPip
  • 387 сообщений
  • ФИО:Воробьева Татьяна


Отправлено 27 Март 2019 - 09:52

Вообще-то выше был мой пример: система, которая должна при определенных условиях принимать определённые решения.

При этом неверно принятое решение - может привести к серьезным финансовым потерям. 

Проверки не абстрактные, а вполне конкретные, и их не две-три, а достаточно много.

Проверяются регулярно, для бизнеса крайне критичны.


  • 0

#14 Spock

Spock

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 477 сообщений
  • ФИО:Роман

Отправлено 27 Март 2019 - 10:00

 

Вообще-то выше был мой пример: система, которая должна при определенных условиях принимать определённые решения.

При этом неверно принятое решение - может привести к серьезным финансовым потерям. 

Проверки не абстрактные, а вполне конкретные, и их не две-три, а достаточно много.

Проверяются регулярно, для бизнеса крайне критичны.

смотрим:

у вас есть критический функционал, то есть например есть список фич отсортированный по критичности

вот для начала процесса автоматизации можно и добавить тесты для критического функционала (если на проекте автоматизация практически отсутствует). тесты добавлять используя список фич

 

тут совершенно не нужно и даже вредно из списка фич делать ручные регрессионные тесты, а потом эти же ручные тесты автоматизировать - так как потеряются важные кейсы которые нельзя протестировать через пользовательский интерфейс. это просто лишний и вредный шаг. Надо сразу автоматизировать тестирование критичного функционала


  • 0

#15 TatyanaV

TatyanaV

    Опытный участник

  • Members
  • PipPipPipPip
  • 387 сообщений
  • ФИО:Воробьева Татьяна


Отправлено 27 Март 2019 - 11:55

Вы опять пишете про "начало". Нужны ли ручные тесты перед автоматизацией, с чего начинать, что надо делать "сразу" и т.д.

Статья (и я тоже) - об автоматизации в целом

 

Я возразила против тезиса о том, что регрессионный тест вообще не надо автоматизировать. 

Я ничего не писала о том, с чего надо начинать, я не про это вообще пишу.

 

п.с.: Я работаю в банке и, к сожалению, не могу расписать подробнее, могу лишь сказать, что это весьма далеко от того "списка фич" с пропадающими кейсами, который представили себе Вы. И они не "отсортированы по критичности" - они одинаково критичны, неработоспособность ЛЮБОЙ из этих проверок - блокирующая проблема.


  • 0

#16 TatyanaV

TatyanaV

    Опытный участник

  • Members
  • PipPipPipPip
  • 387 сообщений
  • ФИО:Воробьева Татьяна


Отправлено 27 Март 2019 - 11:57

del


  • 0

#17 Spock

Spock

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 477 сообщений
  • ФИО:Роман

Отправлено 27 Март 2019 - 12:23

 

 

Я возразила против тезиса о том, что регрессионный тест вообще не надо автоматизировать. 

тезис о том, что "ручной регрессионный тест не надо автоматизировать" правилен

 

так как автоматизировать надо "тестирование фич", а не "ручные тесты которые тестируют только видимую часть фичи"


  • 0

#18 SALar

SALar

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 2 228 сообщений
  • Город:Москва


Отправлено 27 Март 2019 - 15:24

А вообще о том, "что надо, что не надо" замечательно написал Деминг.Книга "Выход из кризиса", главы 1 и 15.

 

К сожалению тестировщики не читают книг величайшего специалиста по качеству. И в итоге... Ну, вы поняли. 


  • 1

-- 

Сергей Мартыненко

Блог 255 ступеней

 


#19 DReeborn

DReeborn

    Новый участник

  • Members
  • Pip
  • 6 сообщений
  • Город:Владивосток

Отправлено 27 Март 2019 - 22:35

 

 

 

Мне совсем не понятен бросок камня в сторону регресса. Автоматизация не заменит человека, это и так понятно, но она является подушкой для тестировщиков. И где ей лучше всего если не в регрессе? Где ещё лучше реализуются плюсы автоматизации как не в рутине?

автор утверждает что вот это “Automate your regression” не имеет смысла

 

что нормальное регрессионное тестирование это творческий процесс а не "прокликивание кнопок". Но если у вас манки-тестеры сидят делают "регрессию" и только кнопки прокликивают по скрипту, тогда пожалуйста, можно автоматизировать

 

Я согласен, что тупо и беспощадно переводить ручной тест в автоматизированный без учёта особенностей автоматизации. Но стоило написать лучше, о том, что кейсы для автоматизации должны быть свои и использовать плюсы автоматизации, а не просто переделкой ручных кейсов. Можно сказать проще, автоматизацию стоит рассматривать как отдельного "специфического" тестера требующего специфический кейсов.

"Прокликивание кнопок" тоже кейс и тоже имеет место быть, и чтобы не делать из тестеров манки-тестеров, почему не дать эту работу автотесту? Этот кейс идеально подходит под автоматизацию и плохо подходит для ручного тестирования, в чём же подвох? Разве автоматизация таких "прокликов" не даст людям больше время на творчество, что наверное и есть главной целью автоматизации как таковой?

З.Ы. Я могу быть не прав, т.к. нов в этой области, поэтому прошу объяснить если я в чём то ошибаюсь.


  • 0

#20 Spock

Spock

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 477 сообщений
  • ФИО:Роман

Отправлено 28 Март 2019 - 08:26

 

 

"Прокликивание кнопок" тоже кейс и тоже имеет место быть, и чтобы не делать из тестеров манки-тестеров, почему не дать эту работу автотесту? Этот кейс идеально подходит под автоматизацию и плохо подходит для ручного тестирования, в чём же подвох? Разве автоматизация таких "прокликов" не даст людям больше время на творчество, что наверное и есть главной целью автоматизации как таковой?

подвох в том, что ручная регрессия тестирует только видимый функционал, поэтому часть кейсов просто теряется

 

например:

наше приложение это форум. Есть требование: удалять чужие сообщения может только пользователь с правами модератора. 

создаются 2 ручных регрессионных теста, один про модератора который удаляет сообщение и второй: "зайти под простым пользователем и проверить что кнопка "Удалить" не отображается"

потом мы автоматизировали регрессию и создали 2 авто-теста, один удаляет сообщение из-под модератора, второй проверяет отсутствие кнопки "Удалить сообщение" у простых пользователей

 

вроде всё прокликали, что могло пойти не так?

 

в результате оказывается что используя РЕСТ АПИ любой пользователь может удалять чужие сообщения! так как контроль доступа на бэк-энде сломался либо его забыли имплементировать вообще, и только на фронте кнопка появлялась или исчезала, а бэкэнд оказывается всегда исполняет команды

 

а как надо было?

 

надо было автоматизировать не ручные тесты, а требование "удалять чужие сообщения может только пользователь с правами модератора", тогда были бы созданы юнит и/или АПИ тесты про права доступа, плюс е2е тесты про кнопку


  • 0


Программирование на С# для тестировщиков
онлайн
Автоматизатор мобильных приложений
онлайн
Selenium WebDriver: полное руководство
онлайн
Программирование на Python для тестировщиков
онлайн



Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных

Яндекс.Метрика
Реклама на портале