Перейти к содержимому

Фотография

Внедрение автоматизации для повышения качества тестирования. Стоит ли?

автоматизация

  • Авторизуйтесь для ответа в теме
Сообщений в теме: 12

#1 silexz

silexz

    Новый участник

  • Members
  • Pip
  • 25 сообщений
  • ФИО:Квасов Сергей Васильевич

Отправлено 02 марта 2015 - 09:02

Здравствуйте, товарищи! Я единственный тестировщик в фирме которая пишет десктопоное ПО (подробности думаю ни к чему) на Delphi. Занимаюсь обычным ручным тестированием. Все ошибки и предложения фиксируются в redmine.
Однако с недавних пор возникла потребность улучшить качество тестирования в связи с тем, что жалоб клиентов не становится меньше, чем обычно (как бы резонный вопрос - где эффект от тестирования?)
Чаще всего ошибки, на которые жалуются клиенты происходят из-за введения новых функций в существующий функционал, которые иногда приводят как раз к поломкам этого функционала.

Начальство намекает, что надо бы автоматизацию наладить и будет всем счастье.

Почитав про автоматизацию однозначного ответа за ее использование я не нашел для себя.
Хотел бы посоветоваться с вами как мжно повысить качество тестирования.
1) Стоит ли применять автоматизацию или можно обойтись меньшей кровью?
2) Если нет, то какие методы улучшения качества ПО посоветуете
3) Если да, то какие средства автоматизации порекомендуете?
4) Имеет ли смысл писать свой фреймворк  для автотестинга? (многие компании именно атк и поступают)

Благодарен за любые советы.


  • 0

#2 Freiman

Freiman

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 591 сообщений
  • ФИО:Андрей Адеркин
  • Город:Йошкар-Ола

Отправлено 02 марта 2015 - 09:15

1. Нет, внедрение автоматизации в этой ситуации только затянет сроки и ухудшит качество
2. Тест-дизайн, оценка рисков
3. Нет
4. Нет

Если б проблемы вылезали в старом функционале (поправили новое - сломали старое) - то да, автоматизировать можно.
В вашей же ситуации, когда баги лезут в новой функциональности, главная проблема - вы пропускаете баги. Квалификации не хватает, времени, или и того и другого. Поэтому автоматизация не поможет.
Совет - прокачивайтесь в ручном тестировании.
  • 0

#3 silexz

silexz

    Новый участник

  • Members
  • Pip
  • 25 сообщений
  • ФИО:Квасов Сергей Васильевич

Отправлено 02 марта 2015 - 09:28

1. Нет, внедрение автоматизации в этой ситуации только затянет сроки и ухудшит качество
2. Тест-дизайн, оценка рисков
3. Нет
4. Нет

Если б проблемы вылезали в старом функционале (поправили новое - сломали старое) - то да, автоматизировать можно.
В вашей же ситуации, когда баги лезут в новой функциональности, главная проблема - вы пропускаете баги. Квалификации не хватает, времени, или и того и другого. Поэтому автоматизация не поможет.
Совет - прокачивайтесь в ручном тестировании.

Freiman, в общем-то у нас так и получается, что нововведения ломают старый функционал. Немного не так в теме написал, сейчас подправлю


  • 0

#4 aksas

aksas

    Активный участник

  • Members
  • PipPip
  • 130 сообщений
  • Город:Харьков

Отправлено 02 марта 2015 - 09:34

давайте посмотрим на проблему с другой стороны - баги в новых фичах, а времени на тестирование новых фич хватает?

- да - надо что-то делать с подходом. Автоматизация не факт что поможет. Стоит понять почему вы пропускаете баги.

- нет - почему?

       1. много времени занимает проверка существующего функционала, регрессионное тестирование

           - есть смысл подумать об автоматизации этих тестов.

       2. просто мало времени

           - идите к менеджеру - пускай либо времени больше выделяют, либо помощника нанимают :)

       3. ........

       .....

       N


  • 0

#5 Tishka

Tishka

    Постоянный участник

  • Members
  • PipPipPip
  • 211 сообщений
  • ФИО:Ахрамеев Антон

Отправлено 02 марта 2015 - 09:35

При тестировании предложил бы декомпозировать на "блоки".

Разбейте ПО таким образом и изучите каждый блок. 

Напишите тестовые сценарии для каждого блока по отдельности, затем их интеграция с другими блоками.

Такой подход повысит ваше знание тестируемого ПО и возможно Вы заметите те сценарии которые упустили.

 

По поводу обновлений которые ломают, определите самый важный функционал.

Накидайте по нему сценарии и прогоняйте их при каждом пачте, сам так же делал.


  • 0

#6 aksas

aksas

    Активный участник

  • Members
  • PipPip
  • 130 сообщений
  • Город:Харьков

Отправлено 02 марта 2015 - 09:36

 

1. Нет, внедрение автоматизации в этой ситуации только затянет сроки и ухудшит качество
2. Тест-дизайн, оценка рисков
3. Нет
4. Нет

Если б проблемы вылезали в старом функционале (поправили новое - сломали старое) - то да, автоматизировать можно.
В вашей же ситуации, когда баги лезут в новой функциональности, главная проблема - вы пропускаете баги. Квалификации не хватает, времени, или и того и другого. Поэтому автоматизация не поможет.
Совет - прокачивайтесь в ручном тестировании.

Freiman, в общем-то у нас так и получается, что нововведения ломают старый функционал. Немного не так в теме написал, сейчас подправлю

 

пока писал ответ, вводные изменились :) В таком случае явно стоит подумать об автоматизации


  • 0

#7 Freiman

Freiman

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 591 сообщений
  • ФИО:Андрей Адеркин
  • Город:Йошкар-Ола

Отправлено 02 марта 2015 - 11:03

Freiman, в общем-то у нас так и получается, что нововведения ломают старый функционал. Немного не так в теме написал, сейчас подправлю

Все равно пока не трогайте автоматизацию.
Это долго, дорого, сложно.
  • 0

#8 Petrov.Sergey

Petrov.Sergey

    Опытный участник

  • Members
  • PipPipPipPip
  • 446 сообщений
  • ФИО:Petrov Sergey
  • Город:МО, Лобня


Отправлено 02 марта 2015 - 11:47

Автоматизация нужна только для регресса, чтобы убеждаться, что старое не поломалось.

Но автоматизация требует время, которое надо будет откуда-то брать.

 

Фреймворк лучше взять один из простых и готовых = JUnit, TestNG.

После реализации "на коленке" основных линий автотестирования, того, что будет проверять регресс и освободит время, затрачиваемое сейчас на тестирование регресса вручную, можно будет уже подумывать о фреймворке, заточенном именно для вашей компании (соответственно, в дальнейшем переносить тесты на новую платформу)


  • 0
Форум читаю набегами. По возникшим вопросам можно в скайп (в профиле).

#9 silexz

silexz

    Новый участник

  • Members
  • Pip
  • 25 сообщений
  • ФИО:Квасов Сергей Васильевич

Отправлено 02 марта 2015 - 13:08

Спасибо за ответы, товарищи! Приму к сведению! Позже расскажу, что все-таки решили.

 

Автоматизация нужна только для регресса, чтобы убеждаться, что старое не поломалось.

Но автоматизация требует время, которое надо будет откуда-то брать.

 

Фреймворк лучше взять один из простых и готовых = JUnit, TestNG.

После реализации "на коленке" основных линий автотестирования, того, что будет проверять регресс и освободит время, затрачиваемое сейчас на тестирование регресса вручную, можно будет уже подумывать о фреймворке, заточенном именно для вашей компании (соответственно, в дальнейшем переносить тесты на новую платформу)

Я извиняюсь за нубский вопрос, но они для десктопных приложения написанных на Delphi полностью подходят?


  • 0

#10 Petrov.Sergey

Petrov.Sergey

    Опытный участник

  • Members
  • PipPipPipPip
  • 446 сообщений
  • ФИО:Petrov Sergey
  • Город:МО, Лобня


Отправлено 02 марта 2015 - 13:13

Спасибо за ответы, товарищи! Приму к сведению! Позже расскажу, что все-таки решили.

 

Автоматизация нужна только для регресса, чтобы убеждаться, что старое не поломалось.

Но автоматизация требует время, которое надо будет откуда-то брать.

 

Фреймворк лучше взять один из простых и готовых = JUnit, TestNG.

После реализации "на коленке" основных линий автотестирования, того, что будет проверять регресс и освободит время, затрачиваемое сейчас на тестирование регресса вручную, можно будет уже подумывать о фреймворке, заточенном именно для вашей компании (соответственно, в дальнейшем переносить тесты на новую платформу)

Я извиняюсь за нубский вопрос, но они для десктопных приложения написанных на Delphi полностью подходят?

упс! Моя очередь извиняться за недостаточно внимательное прочтение.

Но смысл один и тот же: для быстрого создания пула автотестов лучше выбрать что-нибудь попроще и на коленке.

После некоторого устаканивания нужно будет уже переходить к продуманной организации автотестов и мигрировать всех тех коленочных монстров на новую архитектуру.


  • 0
Форум читаю набегами. По возникшим вопросам можно в скайп (в профиле).

#11 silexz

silexz

    Новый участник

  • Members
  • Pip
  • 25 сообщений
  • ФИО:Квасов Сергей Васильевич

Отправлено 02 марта 2015 - 14:55

 

Спасибо за ответы, товарищи! Приму к сведению! Позже расскажу, что все-таки решили.

 

Автоматизация нужна только для регресса, чтобы убеждаться, что старое не поломалось.

Но автоматизация требует время, которое надо будет откуда-то брать.

 

Фреймворк лучше взять один из простых и готовых = JUnit, TestNG.

После реализации "на коленке" основных линий автотестирования, того, что будет проверять регресс и освободит время, затрачиваемое сейчас на тестирование регресса вручную, можно будет уже подумывать о фреймворке, заточенном именно для вашей компании (соответственно, в дальнейшем переносить тесты на новую платформу)

Я извиняюсь за нубский вопрос, но они для десктопных приложения написанных на Delphi полностью подходят?

упс! Моя очередь извиняться за недостаточно внимательное прочтение.

Но смысл один и тот же: для быстрого создания пула автотестов лучше выбрать что-нибудь попроще и на коленке.

После некоторого устаканивания нужно будет уже переходить к продуманной организации автотестов и мигрировать всех тех коленочных монстров на новую архитектуру.

 

Какие средства автоматизации подходят для моего ПО?


  • 0

#12 Freiman

Freiman

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 591 сообщений
  • ФИО:Андрей Адеркин
  • Город:Йошкар-Ола

Отправлено 02 марта 2015 - 15:15

Какие средства автоматизации подходят для моего ПО?


Например
http://www.sikuli.org/
https://www.autoitscript.com/site/
  • 0

#13 lurk

lurk

    Постоянный участник

  • Members
  • PipPipPip
  • 180 сообщений


Отправлено 02 марта 2015 - 18:18

Автоматизация это круто. Но готово ли вам руководство выделить на неё достаточно времени-ресурсов? 

Есть ли у вас достаточно времени-знаний, чтобы организовать автоматизацию + её постоянную поддержка.

Если у вас на текущий момент и без автоматизации частые факапы - то может стоит уделить время тест-дизайну?

 

Вопрос: Если у вас не менялся процесс разработки-тестирования с чего количество жалоб клиентов должно уменьшиться? 

Вы уверены, что проблема факапов именно в тестировании? Может где-то можно процесс разработки ПО улучшить, если это в ваших силах?

 

Если руководство готово выделить деньги на инструмент для автоматизации можно на TestComplete обратить внимание.


  • 0



Темы с аналогичным тегами автоматизация

Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных