Перейти к содержимому

Фотография

Регрессионное тестирование: как упростить и автоматизировать


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 8

#1 mlleYana

mlleYana

    Новый участник

  • Members
  • Pip
  • 16 сообщений
  • ФИО:Mishkinis Yana
  • Город:Париж


Отправлено 28 января 2015 - 09:51

Здравствуйте!

Я начинающий тестироващик. Работаю первый месяц в небольшой французской компании, которая специализируется на разработке решений для мониторинга и управления.

До моего прихода тестированием занималась и занимается до сих пор тех.поддержка. Не скажу, что процесс тестирования идеален, но все-таки не самый худший: есть документация, чек-листы, своя баг-трекинговая система с плохо оформленными багами (есть даже такие, где просто написано, что что-то не работает, а что не известно. Никаких тебе шагов, ожидаемых и фактических результатов, как меня учили)…

 

Тех.поддержка конечно тестирует ПО по чек-листам, выявляет ошибки, но не проводит регрессионное тестирование, в следствие чего кажый релиз выходил нестабильным.

 

Меня взяли в надежде наладить процесс регрессионного тестирования со словами: “ты и положешь начало настоящему отделу тестирвоания”.  Но я-то новичок (они это знают) и никого опытного они еще не взяли, то есть учиться мне не у кого.

Проводить регрессионное тестипрование мне очень сложно. Я не знаю еще хорошо продукт, и баги описаны ну очень непонятно.

Вчера была на первом совещании, где руководитель сказал, что наша цель в будущем – выпускать более стабильные релизы путем проведения регрессионного тестирования и автоматизации тестов. В идеале, он хочет приложение с одной волшебной кнопкой, которая будет проверять основной функционал, что я считаю пока нереальным (может по неопытности).

 

Так вот вопрос к опытным тестировщикам, в какую сторону мне двигаться? Как облегчить и ускорить регрессионное тестрование? Посоветуйте, пожалуйста, продукты для автоматизации (авто воспроизведения) проделанных шагов – тестировщик записывает свои шаги в виде скрипта, он автоматически делает регрессионное тестирование, надо будет просто перевоспроизвести его шаги потом.

Может начать изучать Селениум или что-то другое?

Также почти у всех сотрудников есть подписка на MSDN, то есть может у Microsoft есть какие-то решения, которые для нас будут бесплатными?

 

Заранее спасибо за ответы!


  • 0

#2 Freiman

Freiman

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 591 сообщений
  • ФИО:Андрей Адеркин
  • Город:Йошкар-Ола

Отправлено 28 января 2015 - 10:13

Ну, для начала, изучить продукт вам все же придется :)

И, вообще-то, техподдержка проводит регрессионное тестирование, просто вот чек-листы составлены, скорее всего, плохо и давно не обновлялись (эффект пестицида в действии).

 

Итак, как проводить регрессионное тестирование?

1. Выявляем, какие части продукта менялись. Напрягаем программистов, заставляем их писать changelog, если таковых еще нет.

Для этих частей:

- придумываем новые тесты.

- обновляем кейсы, чек-листы.

- выполняем тестирование

- смотрим, сколько времени это тестирование заняло.

- оформляем баги, информируем руководство о том, что "все плохо".

Это первая область, на которую надо обратить внимание.

 

2.  Выявляем, какие части продукта являются критически важными. Для этого разговариваем с руководством и техподдержкой.

Далее все то же самое.

 

3. Выявляем, на какие части продукта чаще всего жалуются пользователи.

Далее все то же самое :)

 

Если остается время, то создаем тестовую документацию для остальных частей продукта (если еще остались непротестированные).

 

Теперь у нас есть документация для регрессионного тестирования и понимание, сколько времени оно может занять.

Вот от этого уже можно двигаться дальше.

 

"Волшебную кнопку" для автоматизации вы не получите. Автоматизация - это вообще много геморроя и небыстрый возврат инвестиций.

Если вам нужно быстро подтянуть качество продукта - забейте пока на автоматизацию. Разгребите баги, сделайте хорошие чек-листы, тест-кейсы, добейтесь, чтобы в продукте был feature/code freeze, а вам выделяли достаточное количество времени на тестирование.


  • 2

#3 mlleYana

mlleYana

    Новый участник

  • Members
  • Pip
  • 16 сообщений
  • ФИО:Mishkinis Yana
  • Город:Париж


Отправлено 28 января 2015 - 14:45

Ну, для начала, изучить продукт вам все же придется :)

 

 

Спасибо за быстрый ответ! 

 

Конечно я изучаю продукт, но у него просто огромный и достаточно сложный функционал, поэтому у меня уйдет достаточно много времени на это. Уже прошло три недели, а я знаю продукт только поверхностно. Чтобы изучить продукт, в идеале мне нужны готовые пошаговые тест-кейсы с ожидаемым результатом. Ничего подобного и близко нет: все заведенные баги и чек-листы расчитаны на "старичков", которым шаги не нужны. Меня записали на курсы, которые обычно проводят для клиентов. Решили, что мне тоже будет полезно. 

Как такогово changelog у них нет, но абсолютно все изменения они заносят в TFS, то есть можно этот change log собрать на любой момент времени. Но там так много изменений, что я одна начинаю чувствовать себя маленькой букашкой

 

  • 0

#4 clipsa

clipsa

    Специалист

  • Members
  • PipPipPipPipPip
  • 527 сообщений
  • ФИО:Ермолаева Ольга
  • Город:Москва


Отправлено 28 января 2015 - 15:40

Яна, главное не теряйтесь, у вас все получится!

Перед вами большая и судя по всему интересная задача! 

Главное - разбейте эту огромную задачу на маленькие и понятные задачки.Андрей вам примерно накидал пункты.

 

Нет понятных тест-кейсов? Возможно есть документация: ТЗ, бизнес-требования, функциональные требования и т.п. Если с документацией все плохо, изучайте продукт интуитивно, мучая вопросами тех.поддержку или того кто сможет вам ответить. Параллельно делайте для себя пометки, чтобы потом не запутаться и не переспрашивать один и тот же вопрос несколько раз. В идеале вам надо вести свою базу знаний и постепенно ее систематизировать.

 

Удачи! :)


  • 2

Не следует заставлять тестировщиков тестировать быстрее. Что может быть хуже испуганных, усталых, цинично настроенных тестировщиков?
-----------------
Хорошо, когда человек заводит баги. Плохо, когда баги заводят человека (с)
-----------------
Проект для начинающих тестировщиков Хомячки


#5 Freiman

Freiman

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 591 сообщений
  • ФИО:Андрей Адеркин
  • Город:Йошкар-Ола

Отправлено 28 января 2015 - 17:07

Конечно я изучаю продукт, но у него просто огромный и достаточно сложный функционал, поэтому у меня уйдет достаточно много времени на это. Уже прошло три недели, а я знаю продукт только поверхностно. Чтобы изучить продукт, в идеале мне нужны готовые пошаговые тест-кейсы с ожидаемым результатом. Ничего подобного и близко нет: все заведенные баги и чек-листы расчитаны на "старичков", которым шаги не нужны. Меня записали на курсы, которые обычно проводят для клиентов. Решили, что мне тоже будет полезно.

 
Начните изучение с новых фич, которые только что зарелизены или сейчас разрабатываются - по ним наверняка больше всего актуальной информации, даже если она не записана где-то, но есть в голове у программистов, менеджеров, дизайнеров. Формализуйте и структурируйте информацию по этим новым фичам, а к ним сами собой потянутся и старые.
И да, чтобы изучить продукт, тест-кейсы нужны не всегда. Если у вас система заточена на определенные бизнес-процессы пользователей, то вам как раз нужны спецификации, требования клиентов, пользовательская документация и пр. В том числе и по ним вы будете оценивать адекватность текущих кейсов (по всей видимости, с ними-то как раз все плохо) и создавать свою тестовую документацию.

Как такогово changelog у них нет, но абсолютно все изменения они заносят в TFS, то есть можно этот change log собрать на любой момент времени. Но там так много изменений, что я одна начинаю чувствовать себя маленькой букашкой

Если не можете пока разобраться самостоятельно, попросите кого-то из программистов его собрать и рассказать вам, что там происходило :) Со временем научитесь выкидывать из него ненужное (50 изменений одного и того же файла скорее всего для вас выльется в "переписали функцию N, значит, тестируем ее более тщательно")
  • 1

#6 irko

irko

    Новый участник

  • Members
  • Pip
  • 40 сообщений
  • ФИО:S Irina

Отправлено 29 января 2015 - 10:21

 

Ну, для начала, изучить продукт вам все же придется :)

 

 

Спасибо за быстрый ответ! 

 

Конечно я изучаю продукт, но у него просто огромный и достаточно сложный функционал, поэтому у меня уйдет достаточно много времени на это. Уже прошло три недели, а я знаю продукт только поверхностно. Чтобы изучить продукт, в идеале мне нужны готовые пошаговые тест-кейсы с ожидаемым результатом. Ничего подобного и близко нет: все заведенные баги и чек-листы расчитаны на "старичков", которым шаги не нужны. Меня записали на курсы, которые обычно проводят для клиентов. Решили, что мне тоже будет полезно. 

Как такогово changelog у них нет, но абсолютно все изменения они заносят в TFS, то есть можно этот change log собрать на любой момент времени. Но там так много изменений, что я одна начинаю чувствовать себя маленькой букашкой

 

 
А руководство пользователя и техническое задание есть? Программа и методика испытаний? Описания релизов? Описания фич? По моей практике, изучение всей имеющейся документации существенно помогает изучению продукта и тому, как он должен работать.

  • 1

#7 mlleYana

mlleYana

    Новый участник

  • Members
  • Pip
  • 16 сообщений
  • ФИО:Mishkinis Yana
  • Город:Париж


Отправлено 29 января 2015 - 12:00

 

 

Ну, для начала, изучить продукт вам все же придется :)

 

 

Спасибо за быстрый ответ! 

 

Конечно я изучаю продукт, но у него просто огромный и достаточно сложный функционал, поэтому у меня уйдет достаточно много времени на это. Уже прошло три недели, а я знаю продукт только поверхностно. Чтобы изучить продукт, в идеале мне нужны готовые пошаговые тест-кейсы с ожидаемым результатом. Ничего подобного и близко нет: все заведенные баги и чек-листы расчитаны на "старичков", которым шаги не нужны. Меня записали на курсы, которые обычно проводят для клиентов. Решили, что мне тоже будет полезно. 

Как такогово changelog у них нет, но абсолютно все изменения они заносят в TFS, то есть можно этот change log собрать на любой момент времени. Но там так много изменений, что я одна начинаю чувствовать себя маленькой букашкой

 

 
А руководство пользователя и техническое задание есть? Программа и методика испытаний? Описания релизов? Описания фич? По моей практике, изучение всей имеющейся документации существенно помогает изучению продукта и тому, как он должен работать.

 

 

 

 

Все есть, но на французском языке и в больших количествах, поэтому изучение идет ну очень медленно 


  • 0

#8 Tishka

Tishka

    Постоянный участник

  • Members
  • PipPipPip
  • 211 сообщений
  • ФИО:Ахрамеев Антон

Отправлено 29 января 2015 - 12:14

Может имеет смысл использовать майнд карты или таблицы, чтобы немного систематизировать ваши знания по проекту.

Исследовательское тестирование + записывайте что вы делаете. Представте себя пользователем, чтобы вы хотели сделать используя данный софт?

Если есть функциональные требования, попробуйте по ним сделать тестовые сценарии, мол: "Что нужно сделать чтобы использовать данную функцию?".

 

На своем опыте скажу что для изучения огромного продукта одним тестировщиком уходит до 2х месяцев и это нормально. Главное это обосновать руководству.


  • 1

#9 Evgeniy_

Evgeniy_

    Новый участник

  • Members
  • Pip
  • 3 сообщений
  • ФИО:Евгений


Отправлено 29 января 2015 - 17:07

Тоже работаю недавно, 5 месяцев. По началу все кажется сложным. А сейчас уже отлично знаю проект и во всем разбираюсь. Очень советую почитать\посмотреть информацию по тестдизайну.

- Анализ границ и разбиение данных на подобласти.

- Комбинаторные методы

- Тестирование последовательностей операций

И т.д. и т.п.

Все это учит тому, как эффективно находить баги, и как тратить на это минимум времени. Как универсально пособие, по тому, как все поломать и при этом не напрягаться)

 
  • 0


Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных