Сообщений в теме: 15

[DEP]

Автоматизированое тестирование - миф или реальность?

В компании возникла необходимость в автоматизации тестирования, но коллеги убеждают меня что это неоправданные расходы и что продукт совсем неподходит для автоматизированого тестирования.

Каким самым коротким путём пойти что бы протолкнуть авто. тестирования в организацию.?
С чего начать? Инструменты, языки?

[Case]

А можно больше информации по теме "нельзя автоматизировать приложение"? Что за приложение? Чем мотивируется невозможность автоматизации?

Начинать, наверное, стоит с оценки трудозатрат на автоматизацию, включая затраты на обучение, на пилотный проект, на перестройку процессов (а что-то из процессов/процедур всё равно ведь затронется).

Вы можете подсчитать количество прогоняемых вручную тестов для одного билда/версии и подсчитать сколько для этого требуется времени. Потом помножить на количество тестовых окружений для которых прогон необходим. Потом помножит на количество версий в итерацию или в месяц/квартал/год.

Получив ориентировочный объём тестирования в часах/днях, можно подсчитать, во что выльется автоматизация такого объёма тестирования (на основе данных для пилотного проекта, к примеру).

Сложив оценк затрат на автоматизацию с затратами на внедрение и обучение - получим какую-то цифру. Если цифра меньше трудозатрат на ручное тестирование - смысл автоматизировать есть, если больше на самом деле тоже есть (качество машинного тестирования выше), но тут надо смотреть что критичнее - сроки или качество.

Примерно так. Могу растолковать какой-то пункт более подробно, если путано написал.

[van]

Слава все правильно написал. Дополню совсем немного (или предупрежу :) ).

Вы никогда не получите немедленное отдачи от автоматизированного тестирования. Т.е. сокращение объема работ по тестирования, сокращение времени тестирования произойдет только в достаточно долгосрочной перспективе.

Мы занимаемся автоматизацией почти год и только совсем недавно стали ощущать реальную выгоду от этого рода деятельности.

Еще стоит заметить, что книги не врут (проверили и просчитали на собственном опыте), и время, требуемое на автоматизацию тестирования той или иной функциональности, примерно в 10 раз больше, времени ручного тестирования
аналогичной функциональности.

Еще один очень важный момент, о котором Слава не написал, - это трудозатраты на сопровождение уже написанных скриптов. Замечу, что это очень трудоемкое занятие. Хотя, ради справедливости стоит заметить, что эти трудозатраты много меньше трудозатрат на аналогичное ручное тестирование.

Я относительно недавно пережил подобный опыт. Так что пока все в памяти свежо, спрашивайте :)

[Scorp-13]

(качество машинного тестирования выше)

2 Case - а можно поподробнее, чем именно качество машинного тестирования выше?

[Case]

Выше потому, что нет человеческого фактора. Машинная повторяемость действий повышает качество именно за счёт отсутствия человеческого фактора - нет усталости, нет простых ошибок.

Конвеер лучше чем машинная сборка именно повторяеомстью.

[Jackie]

Преимущества автотестирования (в сочетании с ручным тестированием по Дастину, Рашке и Полу):
Создание надежного приложения
Повышение качества работ по тестированию
Сокращение трудоемкости тестирования и минимизация сроков.

Минусы:
- Надо преодолеть ожидания руководства, что все можно автоматизировать. Это не так. Некоторые тесты проще выполнить руками, чем писать для них код
- Необходимо повышение квалификации персонала.
- Практически очень сложно добиться полного тестового покрытия.
- Первоначальный объем работ, связанный с внедрением автоматизации, вполне реально может увеличиться.

[DEP]

А можно больше информации по теме "нельзя автоматизировать приложение"? Что за приложение? Чем мотивируется невозможность автоматизации?

Я относительно недавно пережил подобный опыт. Так что пока все в памяти свежо, спрашивайте :)

Ок, я рад что здесь народ так душевно откликнулся на мой мессадж :)

Я представляю отдел тестирования кампании Агнитум(www.agnitum.com), компания небезызвестна выпуском таких продуктов как: Outpost FireWall ,Office FireWall, Tauscan. В будущем планируется наращивать обороты по продвижению ПО на ИТ рынок и поэтому возник вопрос об автоматизации тестирования т.к. объёмы работ по ручному тестированию значительно отличается от прежнего уровня.

В основном стоящая задача относится к автоматизации приёмочного тестирования на ранних стадиях разработки, тестированию GUI и тестированию обновлений с версии на версию, при multi-language режиме.

В данный момент мы имеем свою довольно большую тестовую зону (в неё входят скрипты, различные лик тесты, генераторы атак и др.), но она в основном относится к тестированию технической части продукта (обработка сетевых пакетов, реагирование на атаки, блокировка рекламы и контента и др.)

Интуитивно ясно что автоматизация тестирования GUI намного сократит ресурсо-затраты и время затраченное при регрессивном тестировании.
Хотелось бы понять, имеет ли смысл серьёзно браться за автоматизацию тестирования GUI?
Например, при тестировании GUI нам традиционно приходится проверять: локализацию, навигацию по меню и окнам, выход из форм по различным кнопкам, корректные сообщения об ошибках и прочее.

[DEP]

Хы-м.....
К чему бы такое затишье?

[barancev]

Вероятно, все желающие высказались :)

Во-первых, хочется сказать большое спасибо компании Агнитум за отличный файрвол, которым я сам пользуюсь и всем того же желаю.

Во-вторых, я совсем недавно в другой теме бросал пару ссылок, повторю их и здесь:

http://www.javaworld...07-testing.html
http://blogs.msdn.co.../07/368833.aspx

Чтобы понять -- автоматизировать или нет, нужно просто сесть и немного посчитать деньги, или человеко-дни, или что-нибудь подобное. Потому что "интуитивно ясно" может вылиться в массу работы по автоматизации того, что совершенно не нужно автоматизировать.

[Mike]

Тестировать локализацию автоматически слабо реально. Всё остальное (из перечисленного) - можно. Только следует иметь в виду, что чтобы в реальные сроки автоматизировать (хотя-бы частично) тестирование продуктов вроде Ваших, понадобиться довольно большая команда автоматизаторов (2-3 человека на приложение типа Agnitum Outpost). В этом случае, месяца за 3-4 покрыть smoke-тестами (то есть перенажимать все кликабельные контролы (один котрол - один Use Case)) процентов на 50-70 сможете (если тестировщики уже владеют инструментом АТ). А так, отдачу я бы ожидал где-то через пол-года - год.

[Case]

Я когда-то для диплома делал оценки, на каких проектах стоит внедрять полноценную автоматизацию. У меня получалось, что если брать инструмент с ценой около 100к то при отделе из 3 тестировщиков он окупался при проекте в 2-3 года (с учётом обучения персонала, внедрения и ежегодных выплат за поддерку). Дело не в количестве лет, а именно в порядке - реально полтора-два года пока начнёт давать первые ощутимые плоды.

[DEP]

Вероятно, все желающие высказались :)

Во-первых, хочется сказать большое спасибо компании Агнитум за отличный файрвол, которым я сам пользуюсь и всем того же желаю.

Приятно :)

Во-вторых, я совсем недавно в другой теме бросал пару ссылок, повторю их и здесь:

http://www.javaworld...07-testing.html
http://blogs.msdn.co.../07/368833.aspx

За ссылки спасибо.

[DEP]

На данный момент в компании "Агнитум лтд." открыта вакансия - Инженер по тестированию (QA Manager).
Из этого поста можно предположить, чем надо будет заниматься.

Работа полный рабочий день в офисе в Петербурге (в районе ст. м. Выборгская)

Если есть вопросы, задавайте.

[Dmitry_NJ]

На данный момент в компании "Агнитум лтд." открыта вакансия - Инженер по тестированию (QA Manager). Из этого поста можно предположить, чем надо будет заниматься.

Очень трудно предположить чем надо будет заниматься, ибо "инженер по тестированию" и "QA Manager" это совсем разные вакансии.

[DEP]

На данный момент в компании "Агнитум лтд." открыта вакансия - Инженер по тестированию (QA Manager). Из этого поста можно предположить, чем надо будет заниматься.

Очень трудно предположить чем надо будет заниматься, ибо "инженер по тестированию" и "QA Manager" это совсем разные вакансии.

Нужен человек который, будет руководить командой тестировщиков, заниматься разработкой стратегии тестирования, тестовых планов и тестовых сценариев, разработкой тестовой зоны и поддержкой утилит, скриптов для автоматизированного тестирования.

[Case]

Лучше сделайте вакансию отдельной веткой в соотвествующем разделе форума: больше пользы будет - это точно.