Перейти к содержимому

Фотография

Тестирование нажиманием на все подряд


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 10

#1 sinys

sinys

    Новый участник

  • Members
  • Pip
  • 3 сообщений
  • ФИО:Егор

Отправлено 17 сентября 2011 - 23:41

Существуют ли программы по тестированию, которые запускают программу и начинают нажимать на все подряд и вводить какие попало данные и т.д?
  • 0

#2 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 871 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 18 сентября 2011 - 09:17

Я использую вот этот: guitester
Если есть другие -- тоже был бы рад узнать.

В принципе, такой "случайный" инструмент можно легко написать за день-два на базе любого "настоящего" инструмента автоматизации.
Но по хорошему его потом надо 1) "настраивать" -- подбирать соотношение между разными действиями, 2) сделать не совсем случайным, чтобы он мог заходить глубоко в меню и закрывать диалоговые окна.
  • 2
Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium

#3 sinys

sinys

    Новый участник

  • Members
  • Pip
  • 3 сообщений
  • ФИО:Егор

Отправлено 18 сентября 2011 - 15:31

Я использую вот этот: guitester


Спасибо, интересная вещица, но не прозрачная, да и минимум интеллекта ей бы не помешало.

В принципе, такой "случайный" инструмент можно легко написать за день-два на базе любого "настоящего" инструмента автоматизации.


Используем TestComplite в конторе, но боюсь квалификация наших тестировщиков на текущий момент не позволит его написать. Могли бы намекнуть куда копать?

Если достойную программу не найду то думаю может самому опенсурс замутить.
  • 0

#4 ch_ip

ch_ip

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 097 сообщений
  • ФИО:Павел Абдюшев
  • Город:Москва


Отправлено 18 сентября 2011 - 19:04

У меня несколько главных вопросов
1.Зачем?
2.Зачем?
3.Зачем?

Теперь еще вопросы:
Для какой ОС и каких программ (веб, win32, win64) вы хотите это использовать?

На тему в какую сторону сторону копать для повышения интеллектуальности - смотрите monkey testing и model-based automation testing
Плюс завтра на YaC будет доклад Ильи Кацева и Артма Ярошенко на тему тестирования веб-интерфесов роботами. Обещают он-лайн трансляцию
  • 0

#5 sinys

sinys

    Новый участник

  • Members
  • Pip
  • 3 сообщений
  • ФИО:Егор

Отправлено 18 сентября 2011 - 20:08

У меня несколько главных вопросов
1.Зачем?
2.Зачем?
3.Зачем?


Защита от дурака, банально не всегда помнишь что в поле можно ввести 1000 символов (уж слишком сосредоточен на выполнение задания и переходе к следующему, кок раз тут стабильность-то и страдает) и программа повалится, а многие забывают это проверять. Или, например, что будет если отметить галки и переключатели в определенном порядке, вроде бы читая подсказки к полям нормальный человек не выставит их в таком сочетании, а при определенном положении может вылезти баг.

Теперь еще вопросы:
Для какой ОС и каких программ (веб, win32, win64) вы хотите это использовать?


Извиняюсь, забыл что это действительно важно. Win32, Delphi.

На тему в какую сторону сторону копать для повышения интеллектуальности - смотрите monkey testing и model-based automation testing


Спасибо! Погуглю.

И ещё вопрос, я правильно понял что приведенный выше guitester не дает каких либо логов и единственное как можно обнаружить ошибку это наблюдая за ним?
  • 0

#6 Liv

Liv

    Активный участник

  • Members
  • PipPip
  • 75 сообщений
  • ФИО:Ольга
  • Город:Москва


Отправлено 15 октября 2012 - 11:17

Правильно ли я понимаю, что при работе GUI Tester должно быть открыто только тестируемое приложение, не должно быть ярлыков на рабочем столе.
У меня GUI Tester свернула мое приложение и перешла к тестированию Total Commander.
Как в таком случае оставлять программу на ночь с включенной видеозаписью... Получается, что GUI Tester может перейти на тестирование записывающей программы вместо приложения, которое хотим протестировать.

Кто-нибудь решал такие проблемы?
  • 0

#7 _Yura

_Yura

    Новый участник

  • Members
  • Pip
  • 50 сообщений
  • ФИО:n/a

Отправлено 16 октября 2012 - 07:35

Правильно ли я понимаю, что при работе GUI Tester должно быть открыто только тестируемое приложение, не должно быть ярлыков на рабочем столе.
У меня GUI Tester свернула мое приложение и перешла к тестированию Total Commander.

Жестоко.

Правильно ли я понимаю, если собрать дескрипторы всех элементов и обращаться к ним напрямую, то это уже не будет считаться GUI тестированием?
  • 0

#8 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 871 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 16 октября 2012 - 10:48

Правильно ли я понимаю, что при работе GUI Tester должно быть открыто только тестируемое приложение, не должно быть ярлыков на рабочем столе.
У меня GUI Tester свернула мое приложение и перешла к тестированию Total Commander.
Как в таком случае оставлять программу на ночь с включенной видеозаписью... Получается, что GUI Tester может перейти на тестирование записывающей программы вместо приложения, которое хотим протестировать.

Кто-нибудь решал такие проблемы?


1) Запускать в виртуалке, а видео писать с хост-машины.
2) Убрать всё лишнее, почистить десктоп, не запускать лишние программы.
3) Ещё полезно сделать "анти-переключатель" -- небольшой скрипт на AutoIt или аналогичном инструменте, который работает в бэкграунде, и как только тестируемое приложение теряет фокус, этот "анти-переключатель" снова его активирует.
  • 1
Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium

#9 negro

negro

    Активный участник

  • Members
  • PipPip
  • 102 сообщений
  • ФИО:Себастьян Переро
  • Город:Скотопригоньевск

Отправлено 30 октября 2012 - 22:34

Существуют ли программы по тестированию, которые запускают программу и начинают нажимать на все подряд и вводить какие попало данные и т.д?

1) Ненапряжные для интеллекта и несерьёзные подходы - это для начинающих тестеров-сангвиников.
2) Допустим ТеститКакПопалоПрограмма отработала... Что имеем в результате, если ничего особенного не нашла? Ваша оценка о качестве продукта повысилась?
3) ТеститКакНадоПрограммы не интересуют? Грамотный тест-дизайн не для вас?
4) Можно ли расценивать ваш ответ "защита от дурака" на три вопроса ch_ip "зачем?", как проблему: имбицилы-разработчики не заботятся о собратьях кретинах-пользователях, (которые могут, например, в поле логина или пароля ввести 1000 символов), а дауны-тестеры не додумаются это проверить от чего страдает стабильность...
  • 0

#10 notProgrammer

notProgrammer

    Постоянный участник

  • Members
  • PipPipPip
  • 199 сообщений
  • Город:Харьков

Отправлено 02 ноября 2012 - 08:39

Мне другое интересно.
Допустим, Ваша программа работает, тестит путём нажатия на всё подряд в произвольном порядке. И тут бац - ошибка. Как вы её воспроизведёте? Будете поторять все те 100-500 шагов, которые выполнила программа (если, конечно, она эти шаги где-то сохраняет). Как описать такой баг разработчикам? "Я полчаса кликала на всё подряд и оно упало"? При чём повторный запуск не гарантирует повторения тех же самых шагов, следовательно, повторения ошибки... Короче: что-то нашлось - как это повторить?
  • 0
- Как называется человек, который любит смотреть на страдания других?
- Программист.

У тестировщика всегда чётное количество синяков: если он наступил на грабли - обязан воспроизвести ошибку.
(bash.org)

#11 Liv

Liv

    Активный участник

  • Members
  • PipPip
  • 75 сообщений
  • ФИО:Ольга
  • Город:Москва


Отправлено 02 ноября 2012 - 12:28

Допустим, Ваша программа работает, тестит путём нажатия на всё подряд в произвольном порядке. И тут бац - ошибка. Как вы её воспроизведёте?


Для этого и нужна видеозапись.
  • 0


Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных