Вопросы начинающего тестировщика...
#1
Отправлено 24 ноября 2005 - 11:26
Сначала самый главный и первый вопрос:
"Мне предложено ПО. Я знаю все его возможности и функции. До сих пор я тестировал руками, т.е. при выходе новой версии программы перепроверял все ранее найденные баги и регистрировал новые. Теперь мне необходимо автоматизировать процесс тестирования. С чего мне начать?"
Вот здесь сказано, что сразу кидаться автоматизировать бесполезно. Если я правильно понял, то таблицы контроля у меня уже есть. План составить думаю смогу. Тест-кейсы - это конкретные моменты, которые надо проверять, или я ошибаюсь?
пока вот это... думаю скоро еще вопросы появятся...
#3
Отправлено 24 ноября 2005 - 13:57
Определение тест-кейса.Тест-кейсы - это конкретные моменты, которые надо проверять, или я ошибаюсь?
The specification (usually formal) of a set of test inputs, execution conditions, and expected results, identified for the purpose of making an evaluation of some particular aspect of a Target Test Item.
Редактор портала www.it4business.ru
#4
Отправлено 24 ноября 2005 - 14:47
Сначала надо оценить обстановку
Потом проанализировать возможности
Потом сделать выводы
Далее принять решение
И, наконец, претворить решение в жизнь
"Оценить обстановку": не совсем понял, что именно? прога собственно уже практически реализована, остались недочеты чисто филологического характера (много текстовых материалов в базе), все основные ошибки замечены, зафиксированы и исправляются в данный момент...
"Проанализировать возможности": в принципе я знаю все возможности программы, иначе я бы не смог протестировать функциональность руками...
"Сделать выводы": выводы должны касаться требований к выбору будущей тулзы для автоматизации?...
"Принять решение": сейчас передо мной стоит необходимость только одного решения - выбрать нужную тулзу для автоматизации, предложить ее начальству, а потом расковырять...
"Претворить в жизнь": вот этого-то мне сейчас и нужно добиться, тока знаний маловато пока...
#5
Отправлено 24 ноября 2005 - 14:57
Я б сказал, что вывод сделан довольно странный."Оценить обстановку": не совсем понял, что именно? прога собственно уже практически реализована, остались недочеты чисто филологического характера (много текстовых материалов в базе), все основные ошибки замечены, зафиксированы и исправляются в данный момент...
"Проанализировать возможности": в принципе я знаю все возможности программы, иначе я бы не смог протестировать функциональность руками...
"Сделать выводы": выводы должны касаться требований к выбору будущей тулзы для автоматизации?...
Скажите пожалуйста, ЗАЧЕМ вам необходимо автоматизировать процесс тестирования? ПОЧЕМУ вас не устраивает существующее положение дел? Что вы ОЖИДАЕТЕ от автоматизации тестирования?
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium
#6
Отправлено 24 ноября 2005 - 15:17
Сори... забыл упомянуть, что сейчас заканчивается разработка демо-версии программы (хотя демо выражается в основном в обрезанности базы данных, хотя есть и функции, отключенные в ней)... Тут собственно я справился неплохо... Но впереди боработка до полной версии...
Есть 2 веские причины того, почему я хочу автоматизировать этот процесс... Во-первых, мне самому интересно разобраться. Не вечно же вручную тестить... А во-вторых, этого хочет начальство (против чего не поспоришь)... Если бы не 2 причина, то я может и сам помаленько допер бы до определенных результатов...
#7
Отправлено 24 ноября 2005 - 19:28
#8
Отправлено 25 ноября 2005 - 06:11
Вот именно то, какой вопрос, у меня и вызвало сомнения. На основании изложенных Вами посылок (оценки обстановки) я бы сделал вывод, что ничего автоматизировать не надо.Это не вывод... это был вопрос...
Однако, предложенные далее цели ставят все на свои места.
Хочется -- этому ничего нельзя противопоставить, ибо человек -- существо по природе любопытное.Есть 2 веские причины того, почему я хочу автоматизировать этот процесс... Во-первых, мне самому интересно разобраться. Не вечно же вручную тестить...
Если хочется РАЗОБРАТЬСЯ -- здесь совет простой и его дал Дмитрий: берите триалы, демки, смотрите всё, выбирайте.
С какого инструмента начать? Да с любого, как опять же верно отметил Дмитрий! Выбирайте: http://software-test...ews/testing.htm
Чтобы начать разбираться, подойдет любой инструмент. Потому что инструмент при этом НЕ ГЛАВНОЕ. Опытный автоматизатор может сделать одно и то же практически с любым инструментом из стандартной обоймы. Отличается удобство использования, отдельные технические детали, поддержка тех или иных технологий, но в целом они достаточно сильно похожи.
(Впрочем, бывают и "непохожие" инструменты, которые не укладываются в расхожие схемы, используемые обычно для классификации, точнее, помещение их в ту или иную категорию не отражает сути)
Если хочет начальство -- это означает, что Вы просто перекладываете на него ответственность за ответ на вопрос ЗАЧЕМ. Скажите, а начальство Ваше знает -- ЗАЧЕМ автоматизировать. Спросите. Не занимайте пассивную позицию.А во-вторых, этого хочет начальство (против чего не поспоришь)... Если бы не 2 причина, то я может и сам помаленько допер бы до определенных результатов...
Может быть, начальство НА САМОМ ДЕЛЕ хочет от Вас чего-то совсем другого, имеет в виду какие-то собственные цели, но почему-то решило, что автоматизация тестирования поможет достигнуть этих целей. Хорошо, если это случится. А если нет? Разочарование будет и у Вас, и у начальства. Вы совместно обвините и заклеймите автоматизацию тестирования. Но НА САМОМ ДЕЛЕ просто для достижения целей нужно было выбрать другой путь.
Ответьте на вопрос ЗАЧЕМ. Принимать какое-либо решение, не зная ответа на этот вопрос -- это безрассудство.
Почему Вам кажется, после того, как Вы успешно справились с тестированием первой версии (демо), что с полной версией Вам не удастся справиться? Что вызывает у Вас опасения? Какие новые возможности появятся в новой версии, для которых применяемые сейчас методы тестирования непригодны или неэффективны?Сори... забыл упомянуть, что сейчас заканчивается разработка демо-версии программы (хотя демо выражается в основном в обрезанности базы данных, хотя есть и функции, отключенные в ней)... Тут собственно я справился неплохо... Но впереди боработка до полной версии...
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium
#9
Отправлено 25 ноября 2005 - 09:41
Мне бы не помешало, если бы вы сказали какие вам больше нравятся и по каким причинам... Я читал форум и видел уже подобную тему... Но все, что я оттуда понял, это то, то много кто пользует продукты IBM Rational, но они самые дорогие... Еще предпочитают продукты Mercury и Automated QA...
Как я понимаю основными методами тестирования являются фнкциональное, нагрузочное и стрессовое... Для моей проги наверное наиболее актуально функциональное... на начальном этапе... а потом уже все остальные...
И еще такой вопрос: на сколько я знаю, тестирование можно производить 2 способами - внешней тулзой (одной из тех, что описываются у вас на сайте) и вшитыми в саму прогу скриптами... а вопрос вот в чем... второй способ могут осуществлять только разработчики? потому как только они знают когда и где всунуть эти скрипты...
#10
Отправлено 25 ноября 2005 - 10:50
Имеется ввиду устраивает или не устраивает и почему текущее состояние дел"Оценить обстановку": не совсем понял, что именно? прога собственно уже практически реализована, остались недочеты чисто филологического характера (много текстовых материалов в базе), все основные ошибки замечены, зафиксированы и исправляются в данный момент...
Опять же, это не про программу. Свои возможности, всякие ресурсы, рынок автоматизации, методы, подходы и проч."Проанализировать возможности": в принципе я знаю все возможности программы, иначе я бы не смог протестировать функциональность руками...
Выводы на основе того, что оценивали и анализировали :)"Сделать выводы": выводы должны касаться требований к выбору будущей тулзы для автоматизации?...
To be or not to be... Автоматизировать или нет, или отложить до лучших времён."Принять решение": сейчас передо мной стоит необходимость только одного решения - выбрать нужную тулзу для автоматизации, предложить ее начальству, а потом расковырять...
После принятия решения, должна быть какая-то программа действий, меморандум, вот это и надо претворять в жизнь"Претворить в жизнь": вот этого-то мне сейчас и нужно добиться, тока знаний маловато пока...
#11
Отправлено 25 ноября 2005 - 19:41
Вам уже сказали как лучше подходить к вопросу выбора - брать trial версии инструментов и пытаться создавать автоматизированные тесты на ВАШЕМ приложении. Советы от других здесь по большей части бесполезны ибо никто не работал с указанными инструментами с ВАШИМ приложением, поэтому никто не может знать какие в нем есть особенности (например, custom controls), никто не знает вашего technical background, что может повлиять на время, необходимое для освоения того или иного инструмента. В конце концов никто не знает какой бюджет выделен под искомый инструмент (судя по всему, вы и сами этого не знаете, что плохо). Поэтому берите инструменты и начинайте сами их пробовать. Это гораздо более эффективный способ решить поставленную задачу, чем ждать советов от других.Ну да........ согласен надо браться и тестить все... Это самый верный способ и я это понимаю... Хотя было бы замечательно, если бы мне посоветовали что-то... Я не говорю указать какая тулза работает круче всех... Но как лучше подходить к вопросу выбора...
#12
Отправлено 28 ноября 2005 - 09:40
Скажите, а есть по ним русские мануалы? Англ я понимаю, но по русским было бы проще... Просто если не сложно дайте ссылки на таковые, если имеются...
#14
Отправлено 28 ноября 2005 - 12:55
Нельзя сделать вывод более далекий от реальности. Протестировать всё НЕВОЗМОЖНО за конечное время с ограниченными ресурсами. Нужно определить приоритеты и делать то, что дает наибольшую отдачу. Далеко не всегда автоматизация тестирования позволяет добиться вообще хоть какой-то нибудь отдачи, не говоря уж о максимальной. Особенно если еще учитывать квалификацию ресурсов и затраты на обучение.Ну да........ согласен надо браться и тестить все... Это самый верный способ и я это понимаю...
Лично мне не нравятся никакие, потому что в них неудобные среды прогшграммирования. А по моему мнению, хорошие автотесты можно сделать только программируя. Catch-n-replay -- это маркетинговый ход, позволяющий продавать инструменты. В реальности, записанные таким способом тесты практически невозможно сопровождать и переиспользовать. Поэтому я считаю, что хорошим инструментом автоматизации тестирования является сочетание удобной среды разработки и эффективного драйвера пользовательского интерфейса. Поскольку я работаю с Java, я нашел для себя удобное сочетание: среда Eclipse + драйвер Jemmy. Меркурии и рационалы отдыхают.Мне бы не помешало, если бы вы сказали какие вам больше нравятся и по каким причинам...
"Запихивать" тесты внутрь реализации смысла нет. В крайнем случае, можно попросить разработчиков сделать специальные интерфейсы для тестирования, но тесты при этом все таки держать снаружи.И еще такой вопрос: на сколько я знаю, тестирование можно производить 2 способами - внешней тулзой (одной из тех, что описываются у вас на сайте) и вшитыми в саму прогу скриптами... а вопрос вот в чем... второй способ могут осуществлять только разработчики? потому как только они знают когда и где всунуть эти скрипты...
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium
#15
Отправлено 28 ноября 2005 - 13:48
Лично мне не нравятся никакие, потому что в них неудобные среды прогшграммирования. А по моему мнению, хорошие автотесты можно сделать только программируя. Catch-n-replay -- это маркетинговый ход, позволяющий продавать инструменты. В реальности, записанные таким способом тесты практически невозможно сопровождать и переиспользовать. Поэтому я считаю, что хорошим инструментом автоматизации тестирования является сочетание удобной среды разработки и эффективного драйвера пользовательского интерфейса. Поскольку я работаю с Java, я нашел для себя удобное сочетание: среда Eclipse + драйвер Jemmy. Меркурии и рационалы отдыхают.
Не согласен с аргументацией. Ответ - здесь
Майк.
#17
Отправлено 28 ноября 2005 - 14:38
#18
Отправлено 29 ноября 2005 - 06:48
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium
#19
Отправлено 08 декабря 2005 - 10:12
Регрессионное тестирование как я понимаю это вообще способ тестировать ПО, т.е. прогонка всех ранее созданных тестов на очередной сборке.....
Если так, то почему его ставят в один ряд с функциональным и нагрузочным тестированием?
Хотя может я неправильно понимаю?
#20
Отправлено 08 декабря 2005 - 10:40
Одно определение регрессионного тестирования Вы дали.
Так же, термин "регрессионное тестирование" используют и в другом смысле:
Регрессионное тестирование - тестирование с использованием фиксированного набора входных данных и соответствующего ему набора выходных данных, полученных при тестировании предыдущей (или эталонной) версии системы. То есть, проверяется то, что после внесения изменений, поведение системы на одних и тех же входных данных не меняется.
Такой способ тестирования характерен при использовании инструментов автоматизированного функционального тестирования при применении техники checkpoints/verification points.
Однако, существует и другой способ разработки автоматизированных функциональных тестов, который можно условно назвать "функциональным". В этом случае, тест пишется на основе спецификаций, и вместо сверки выходных данных с эталонными (полученными при прошлом прогоне теста), выполняется проверка выходных данных на соответствии спецификации. Понятно, что это заметно более трудоёмкий подход.
Майк.
Количество пользователей, читающих эту тему: 1
0 пользователей, 1 гостей, 0 анонимных