Перейти к содержимому

Фотография

Вопросы начинающего тестировщика...


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 47

#1 Baltazar

Baltazar

    Новый участник

  • Members
  • Pip
  • 21 сообщений
  • ФИО:Цивилев Евгений Анатольевич

Отправлено 24 ноября 2005 - 11:26

Создал эту тему, т.к. не могу никак понять некоторых моментов... :diablo: Просто я раньше не сталкивался с этим делом, так что не судите строго...

Сначала самый главный и первый вопрос:
"Мне предложено ПО. Я знаю все его возможности и функции. До сих пор я тестировал руками, т.е. при выходе новой версии программы перепроверял все ранее найденные баги и регистрировал новые. Теперь мне необходимо автоматизировать процесс тестирования. С чего мне начать?"

Вот здесь сказано, что сразу кидаться автоматизировать бесполезно. Если я правильно понял, то таблицы контроля у меня уже есть. План составить думаю смогу. Тест-кейсы - это конкретные моменты, которые надо проверять, или я ошибаюсь?
пока вот это... думаю скоро еще вопросы появятся...
  • 0

#2 Clauster

Clauster

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 913 сообщений
  • ФИО:Худобородов Валерий
  • Город:Espoo

Отправлено 24 ноября 2005 - 12:54

Сначала надо оценить обстановку
Потом проанализировать возможности
Потом сделать выводы
Далее принять решение
И, наконец, претворить решение в жизнь
  • 0

#3 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 24 ноября 2005 - 13:57

Тест-кейсы - это конкретные моменты, которые надо проверять, или я ошибаюсь?

Определение тест-кейса.

The specification (usually formal) of a set of test inputs, execution conditions, and expected results, identified for the purpose of making an evaluation of some particular aspect of a Target Test Item. 


  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#4 Baltazar

Baltazar

    Новый участник

  • Members
  • Pip
  • 21 сообщений
  • ФИО:Цивилев Евгений Анатольевич

Отправлено 24 ноября 2005 - 14:47

Сначала надо оценить обстановку
Потом проанализировать возможности
Потом сделать выводы
Далее принять решение
И, наконец, претворить решение в жизнь

Просмотр сообщения


"Оценить обстановку": не совсем понял, что именно? прога собственно уже практически реализована, остались недочеты чисто филологического характера (много текстовых материалов в базе), все основные ошибки замечены, зафиксированы и исправляются в данный момент...

"Проанализировать возможности": в принципе я знаю все возможности программы, иначе я бы не смог протестировать функциональность руками...

"Сделать выводы": выводы должны касаться требований к выбору будущей тулзы для автоматизации?...

"Принять решение": сейчас передо мной стоит необходимость только одного решения - выбрать нужную тулзу для автоматизации, предложить ее начальству, а потом расковырять...

"Претворить в жизнь": вот этого-то мне сейчас и нужно добиться, тока знаний маловато пока...
  • 0

#5 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 872 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 24 ноября 2005 - 14:57

"Оценить обстановку": не совсем понял, что именно? прога собственно уже практически реализована, остались недочеты чисто филологического характера (много текстовых материалов в базе), все основные ошибки замечены, зафиксированы и исправляются в данный момент...

"Проанализировать возможности": в принципе я знаю все возможности программы, иначе я бы не смог протестировать функциональность руками...

"Сделать выводы": выводы должны касаться требований к выбору будущей тулзы для автоматизации?...

Просмотр сообщения

Я б сказал, что вывод сделан довольно странный.

Скажите пожалуйста, ЗАЧЕМ вам необходимо автоматизировать процесс тестирования? ПОЧЕМУ вас не устраивает существующее положение дел? Что вы ОЖИДАЕТЕ от автоматизации тестирования?
  • 0
Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium

#6 Baltazar

Baltazar

    Новый участник

  • Members
  • Pip
  • 21 сообщений
  • ФИО:Цивилев Евгений Анатольевич

Отправлено 24 ноября 2005 - 15:17

Это не вывод... это был вопрос...

Сори... забыл упомянуть, что сейчас заканчивается разработка демо-версии программы (хотя демо выражается в основном в обрезанности базы данных, хотя есть и функции, отключенные в ней)... Тут собственно я справился неплохо... Но впереди боработка до полной версии...
Есть 2 веские причины того, почему я хочу автоматизировать этот процесс... Во-первых, мне самому интересно разобраться. Не вечно же вручную тестить... А во-вторых, этого хочет начальство (против чего не поспоришь)... Если бы не 2 причина, то я может и сам помаленько допер бы до определенных результатов...
  • 0

#7 Dmitry_NJ

Dmitry_NJ

    Консультант

  • Members
  • PipPipPipPipPipPip
  • 3 122 сообщений
  • ФИО:Дмитрий Шевченко
  • Город:New Jersey, USA

Отправлено 24 ноября 2005 - 19:28

Ну раз вы точно для себя решили, что автоматизация тестирования вам нужна, то остается сосредоточиться на выборе инструмента. Из того, что вы тут в двух топиках написали следует, что речь идет об автоматизации функционального тестирования приложений, созданных на Visual C++ и с помощью .NET framework. Если никаких других сред разработки нет, то, как я уже сказал, подойдут инструменты практически от всех производителей. Доставайте trial версии соответствующих инструментов и пробуйте их сами на вашем приложении. Если есть ограничения по выделенным на покупку инструмента средствам (лучше выяснить этот вопрос заранее у ваших начальников), то можно сэкономить время и не делать evaluation тех средств, которые изначально не вписываются в ваш бюджет.
  • 0
Дмитрий Шевченко

HP Software

#8 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 872 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 25 ноября 2005 - 06:11

Это не вывод... это был вопрос...

Просмотр сообщения

Вот именно то, какой вопрос, у меня и вызвало сомнения. На основании изложенных Вами посылок (оценки обстановки) я бы сделал вывод, что ничего автоматизировать не надо.

Однако, предложенные далее цели ставят все на свои места.

Есть 2 веские причины того, почему я хочу автоматизировать этот процесс... Во-первых, мне самому интересно разобраться. Не вечно же вручную тестить...

Просмотр сообщения

Хочется -- этому ничего нельзя противопоставить, ибо человек -- существо по природе любопытное.

Если хочется РАЗОБРАТЬСЯ -- здесь совет простой и его дал Дмитрий: берите триалы, демки, смотрите всё, выбирайте.

С какого инструмента начать? Да с любого, как опять же верно отметил Дмитрий! Выбирайте: http://software-test...ews/testing.htm

Чтобы начать разбираться, подойдет любой инструмент. Потому что инструмент при этом НЕ ГЛАВНОЕ. Опытный автоматизатор может сделать одно и то же практически с любым инструментом из стандартной обоймы. Отличается удобство использования, отдельные технические детали, поддержка тех или иных технологий, но в целом они достаточно сильно похожи.

(Впрочем, бывают и "непохожие" инструменты, которые не укладываются в расхожие схемы, используемые обычно для классификации, точнее, помещение их в ту или иную категорию не отражает сути)

А во-вторых, этого хочет начальство (против чего не поспоришь)... Если бы не 2 причина, то я может и сам помаленько допер бы до определенных результатов...

Просмотр сообщения

Если хочет начальство -- это означает, что Вы просто перекладываете на него ответственность за ответ на вопрос ЗАЧЕМ. Скажите, а начальство Ваше знает -- ЗАЧЕМ автоматизировать. Спросите. Не занимайте пассивную позицию.

Может быть, начальство НА САМОМ ДЕЛЕ хочет от Вас чего-то совсем другого, имеет в виду какие-то собственные цели, но почему-то решило, что автоматизация тестирования поможет достигнуть этих целей. Хорошо, если это случится. А если нет? Разочарование будет и у Вас, и у начальства. Вы совместно обвините и заклеймите автоматизацию тестирования. Но НА САМОМ ДЕЛЕ просто для достижения целей нужно было выбрать другой путь.

Ответьте на вопрос ЗАЧЕМ. Принимать какое-либо решение, не зная ответа на этот вопрос -- это безрассудство.

Сори... забыл упомянуть, что сейчас заканчивается разработка демо-версии программы (хотя демо выражается в основном в обрезанности базы данных, хотя есть и функции, отключенные в ней)... Тут собственно я справился неплохо... Но впереди боработка до полной версии...

Просмотр сообщения

Почему Вам кажется, после того, как Вы успешно справились с тестированием первой версии (демо), что с полной версией Вам не удастся справиться? Что вызывает у Вас опасения? Какие новые возможности появятся в новой версии, для которых применяемые сейчас методы тестирования непригодны или неэффективны?
  • 0
Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium

#9 Baltazar

Baltazar

    Новый участник

  • Members
  • Pip
  • 21 сообщений
  • ФИО:Цивилев Евгений Анатольевич

Отправлено 25 ноября 2005 - 09:41

Ну да........ согласен надо браться и тестить все... Это самый верный способ и я это понимаю... Хотя было бы замечательно, если бы мне посоветовали что-то... Я не говорю указать какая тулза работает круче всех... Но как лучше подходить к вопросу выбора...
Мне бы не помешало, если бы вы сказали какие вам больше нравятся и по каким причинам... Я читал форум и видел уже подобную тему... Но все, что я оттуда понял, это то, то много кто пользует продукты IBM Rational, но они самые дорогие... Еще предпочитают продукты Mercury и Automated QA...
Как я понимаю основными методами тестирования являются фнкциональное, нагрузочное и стрессовое... Для моей проги наверное наиболее актуально функциональное... на начальном этапе... а потом уже все остальные...


И еще такой вопрос: на сколько я знаю, тестирование можно производить 2 способами - внешней тулзой (одной из тех, что описываются у вас на сайте) и вшитыми в саму прогу скриптами... а вопрос вот в чем... второй способ могут осуществлять только разработчики? потому как только они знают когда и где всунуть эти скрипты...
  • 0

#10 Clauster

Clauster

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 913 сообщений
  • ФИО:Худобородов Валерий
  • Город:Espoo

Отправлено 25 ноября 2005 - 10:50

"Оценить обстановку": не совсем понял, что именно? прога собственно уже практически реализована, остались недочеты чисто филологического характера (много текстовых материалов в базе), все основные ошибки замечены, зафиксированы и исправляются в данный момент...

Просмотр сообщения

Имеется ввиду устраивает или не устраивает и почему текущее состояние дел

"Проанализировать возможности": в принципе я знаю все возможности программы, иначе я бы не смог протестировать функциональность руками...

Просмотр сообщения

Опять же, это не про программу. Свои возможности, всякие ресурсы, рынок автоматизации, методы, подходы и проч.

"Сделать выводы": выводы должны касаться требований к выбору будущей тулзы для автоматизации?...

Просмотр сообщения

Выводы на основе того, что оценивали и анализировали :)

"Принять решение": сейчас передо мной стоит необходимость только одного решения - выбрать нужную тулзу для автоматизации, предложить ее начальству, а потом расковырять...

Просмотр сообщения

To be or not to be... Автоматизировать или нет, или отложить до лучших времён.

"Претворить в жизнь": вот этого-то мне сейчас и нужно добиться, тока знаний маловато пока...

Просмотр сообщения

После принятия решения, должна быть какая-то программа действий, меморандум, вот это и надо претворять в жизнь
  • 0

#11 Dmitry_NJ

Dmitry_NJ

    Консультант

  • Members
  • PipPipPipPipPipPip
  • 3 122 сообщений
  • ФИО:Дмитрий Шевченко
  • Город:New Jersey, USA

Отправлено 25 ноября 2005 - 19:41

Ну да........ согласен надо браться и тестить все... Это самый верный способ и я это понимаю... Хотя было бы замечательно, если бы мне посоветовали что-то... Я не говорю указать какая тулза работает круче всех... Но как лучше подходить к вопросу выбора...

Вам уже сказали как лучше подходить к вопросу выбора - брать trial версии инструментов и пытаться создавать автоматизированные тесты на ВАШЕМ приложении. Советы от других здесь по большей части бесполезны ибо никто не работал с указанными инструментами с ВАШИМ приложением, поэтому никто не может знать какие в нем есть особенности (например, custom controls), никто не знает вашего technical background, что может повлиять на время, необходимое для освоения того или иного инструмента. В конце концов никто не знает какой бюджет выделен под искомый инструмент (судя по всему, вы и сами этого не знаете, что плохо). Поэтому берите инструменты и начинайте сами их пробовать. Это гораздо более эффективный способ решить поставленную задачу, чем ждать советов от других.
  • 0
Дмитрий Шевченко

HP Software

#12 Baltazar

Baltazar

    Новый участник

  • Members
  • Pip
  • 21 сообщений
  • ФИО:Цивилев Евгений Анатольевич

Отправлено 28 ноября 2005 - 09:40

Ладно, попробую... Должно что-то получиться...

Скажите, а есть по ним русские мануалы? Англ я понимаю, но по русским было бы проще... Просто если не сложно дайте ссылки на таковые, если имеются...
  • 0

#13 Clauster

Clauster

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 913 сообщений
  • ФИО:Худобородов Валерий
  • Город:Espoo

Отправлено 28 ноября 2005 - 12:14

Ну если переведёте, тогда будут. Вы представляете себе объём работ по переводу мануалов?
  • 0

#14 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 872 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 28 ноября 2005 - 12:55

Ну да........ согласен надо браться и тестить все... Это самый верный способ и я это понимаю...

Просмотр сообщения

Нельзя сделать вывод более далекий от реальности. Протестировать всё НЕВОЗМОЖНО за конечное время с ограниченными ресурсами. Нужно определить приоритеты и делать то, что дает наибольшую отдачу. Далеко не всегда автоматизация тестирования позволяет добиться вообще хоть какой-то нибудь отдачи, не говоря уж о максимальной. Особенно если еще учитывать квалификацию ресурсов и затраты на обучение.

Мне бы не помешало, если бы вы сказали какие вам больше нравятся и по каким причинам...

Просмотр сообщения

Лично мне не нравятся никакие, потому что в них неудобные среды прогшграммирования. А по моему мнению, хорошие автотесты можно сделать только программируя. Catch-n-replay -- это маркетинговый ход, позволяющий продавать инструменты. В реальности, записанные таким способом тесты практически невозможно сопровождать и переиспользовать. Поэтому я считаю, что хорошим инструментом автоматизации тестирования является сочетание удобной среды разработки и эффективного драйвера пользовательского интерфейса. Поскольку я работаю с Java, я нашел для себя удобное сочетание: среда Eclipse + драйвер Jemmy. Меркурии и рационалы отдыхают.

И еще такой вопрос: на сколько я знаю, тестирование можно производить 2 способами - внешней тулзой (одной из тех, что описываются у вас на сайте) и вшитыми в саму прогу скриптами... а вопрос вот в чем... второй способ могут осуществлять только разработчики? потому как только они знают когда и где всунуть эти скрипты...

Просмотр сообщения

"Запихивать" тесты внутрь реализации смысла нет. В крайнем случае, можно попросить разработчиков сделать специальные интерфейсы для тестирования, но тесты при этом все таки держать снаружи.
  • 0
Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium

#15 Mike

Mike

    Консультант

  • Members
  • PipPipPipPipPipPip
  • 1 079 сообщений
  • Город:Москва

Отправлено 28 ноября 2005 - 13:48

Лично мне не нравятся никакие, потому что в них неудобные среды прогшграммирования. А по моему мнению, хорошие автотесты можно сделать только программируя. Catch-n-replay -- это маркетинговый ход, позволяющий продавать инструменты. В реальности, записанные таким способом тесты практически невозможно сопровождать и переиспользовать. Поэтому я считаю, что хорошим инструментом автоматизации тестирования является сочетание удобной среды разработки и эффективного драйвера пользовательского интерфейса. Поскольку я работаю с Java, я нашел для себя удобное сочетание: среда Eclipse + драйвер Jemmy. Меркурии и рационалы отдыхают.


Не согласен с аргументацией. Ответ - здесь
  • 0
Best regards,
Майк.

#16 Baltazar

Baltazar

    Новый участник

  • Members
  • Pip
  • 21 сообщений
  • ФИО:Цивилев Евгений Анатольевич

Отправлено 28 ноября 2005 - 13:57

Ну если переведёте, тогда будут. Вы представляете себе объём работ по переводу мануалов?

Просмотр сообщения


Да представляю... Еще как... Совсем недавно пришлось разбираться... Вот поэтому и спрашивал есть ли... Ну нет так нет...
  • 0

#17 Baltazar

Baltazar

    Новый участник

  • Members
  • Pip
  • 21 сообщений
  • ФИО:Цивилев Евгений Анатольевич

Отправлено 28 ноября 2005 - 14:38

2balancev: А что подразумевается под ресурсами?
  • 0

#18 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 872 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 29 ноября 2005 - 06:48

2balancev: А что подразумевается под ресурсами?

Просмотр сообщения

Люди и деньги.
  • 0
Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium

#19 Baltazar

Baltazar

    Новый участник

  • Members
  • Pip
  • 21 сообщений
  • ФИО:Цивилев Евгений Анатольевич

Отправлено 08 декабря 2005 - 10:12

Вот такой вопрос...
Регрессионное тестирование как я понимаю это вообще способ тестировать ПО, т.е. прогонка всех ранее созданных тестов на очередной сборке.....

Если так, то почему его ставят в один ряд с функциональным и нагрузочным тестированием?

Хотя может я неправильно понимаю?
  • 0

#20 Mike

Mike

    Консультант

  • Members
  • PipPipPipPipPipPip
  • 1 079 сообщений
  • Город:Москва

Отправлено 08 декабря 2005 - 10:40

Тут есть некоторая терминологическая путаница.

Одно определение регрессионного тестирования Вы дали.
Так же, термин "регрессионное тестирование" используют и в другом смысле:

Регрессионное тестирование - тестирование с использованием фиксированного набора входных данных и соответствующего ему набора выходных данных, полученных при тестировании предыдущей (или эталонной) версии системы. То есть, проверяется то, что после внесения изменений, поведение системы на одних и тех же входных данных не меняется.

Такой способ тестирования характерен при использовании инструментов автоматизированного функционального тестирования при применении техники checkpoints/verification points.

Однако, существует и другой способ разработки автоматизированных функциональных тестов, который можно условно назвать "функциональным". В этом случае, тест пишется на основе спецификаций, и вместо сверки выходных данных с эталонными (полученными при прошлом прогоне теста), выполняется проверка выходных данных на соответствии спецификации. Понятно, что это заметно более трудоёмкий подход.
  • 0
Best regards,
Майк.


Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных