Перейти к содержимому

Фотография

Сколько времени выполняется среднестатистический автотест?


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 45

#1 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 872 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 17 сентября 2014 - 09:49

Коллеги, расскажите, сколько времени у вас выполняется среднестатистический автотест?

 

Не надо писать про отдельные тесты, что бывают длинные, бывают короткие, это понятно.

 

Просто возьмите общее время выполнения всего тестового набора и поделите на количество тестов в нём.

Сколько получилось?


  • 0
Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium

#2 appmen

appmen

    Опытный участник

  • Members
  • PipPipPipPip
  • 408 сообщений
  • ФИО:Victor

Отправлено 17 сентября 2014 - 10:01

UI тесты 20 секунд +/-


  • 0

#3 ryjii

ryjii

    Активный участник

  • Members
  • PipPip
  • 101 сообщений
  • Город:Санкт-Петербург

Отправлено 17 сентября 2014 - 10:04

Нечто, отдалённо напоминающее Continious Integration выполняется ~7 часов, это порядка 800 "тестов". Если поделить, получается 30 секунд, но это нечестное измерение, потому что тесты идут параллельно.

Десктопный продукт, самописная система, пару десятков виртуалок в работе.


  • 0

#4 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 872 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 17 сентября 2014 - 10:49

Нечто, отдалённо напоминающее Continious Integration выполняется ~7 часов, это порядка 800 "тестов". Если поделить, получается 30 секунд, но это нечестное измерение, потому что тесты идут параллельно.

Десктопный продукт, самописная система, пару десятков виртуалок в работе.

 

Если параллельно, то надо просто это значение (30 секунд) умножить на количество потоков, и получится искомая цифра.


  • 0
Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium

#5 esichko

esichko

    Новый участник

  • Members
  • Pip
  • 1 сообщений
  • ФИО:Сергей Есичко

Отправлено 17 сентября 2014 - 11:20

в среднем полторы минуты


  • 0

#6 beteshnik

beteshnik

    Новый участник

  • Members
  • Pip
  • 8 сообщений
  • ФИО:Татьяна
  • Город:Москва


Отправлено 17 сентября 2014 - 11:22

Полторы минуты. На мой взгляд, долго. Причины:

- интеграция с медленно работающими сторонними сервисами

- слабые характеристики тестовой площадки


  • 0

#7 deasturies

deasturies

    Новый участник

  • Members
  • Pip
  • 4 сообщений
  • ФИО:Андрей

Отправлено 17 сентября 2014 - 11:24

1-1.5 минут


  • 0

#8 ashipovalov

ashipovalov

    Активный участник

  • Members
  • PipPip
  • 142 сообщений
  • ФИО:Шиповалов Александр


Отправлено 17 сентября 2014 - 11:24

Около минуты. Но у меня пре-прод, удаленный и среднее время отклика около 8 секунд.


  • 0

#9 maxslon

maxslon

    Новый участник

  • Members
  • Pip
  • 28 сообщений
  • ФИО:Максим


Отправлено 17 сентября 2014 - 11:25

Сейчас примерно 680 тестов выполняются в 9 потоков за 80 минут (+/-, т.к часть из них падает).

Итого получаем 63,5 секунды, то есть минута с небольшим.


  • 0

#10 ilevoshko

ilevoshko

    Новый участник

  • Members
  • Pip
  • 2 сообщений


Отправлено 17 сентября 2014 - 11:29

В среднем 20-25 секунд для всего пакета в ~800 тестов. Но разброс от минимума до максимума значительный. 


  • 0

#11 dima.dubyk

dima.dubyk

    Новый участник

  • Members
  • Pip
  • 1 сообщений
  • ФИО:Дубык Дмитрий

Отправлено 17 сентября 2014 - 11:30

в среднем 1 минута 8 секунд


  • 0

#12 slasva

slasva

    Новый участник

  • Members
  • Pip
  • 3 сообщений


Отправлено 17 сентября 2014 - 11:32

~10 мин


  • 0

#13 ryjii

ryjii

    Активный участник

  • Members
  • PipPip
  • 101 сообщений
  • Город:Санкт-Петербург

Отправлено 17 сентября 2014 - 11:50

 

Нечто, отдалённо напоминающее Continious Integration выполняется ~7 часов, это порядка 800 "тестов". Если поделить, получается 30 секунд, но это нечестное измерение, потому что тесты идут параллельно.

Десктопный продукт, самописная система, пару десятков виртуалок в работе.

 

Если параллельно, то надо просто это значение (30 секунд) умножить на количество потоков, и получится искомая цифра.

 

Не получится, потому что значение потоков не константное. Очень грубо можно считать, что параллельно выполняется 10-15 тестов, но в течение времени это значение сильно меняется.

Чтобы не забивать тред оффтопиком, давайте считать, что 7 минут.


  • 0

#14 VitalyD

VitalyD

    Опытный участник

  • Members
  • PipPipPipPip
  • 285 сообщений
  • Город:Санкт-Петербург

Отправлено 17 сентября 2014 - 11:54

45 секунд


  • 0

#15 Petrov.Sergey

Petrov.Sergey

    Опытный участник

  • Members
  • PipPipPipPip
  • 446 сообщений
  • ФИО:Petrov Sergey
  • Город:МО, Лобня


Отправлено 17 сентября 2014 - 12:11

UI-тесты идут по 20 секунд + предварительные 2-5 минут на подготовку данных в БД. Соответственно, среднее значение варьируется в зависимости от количества тестов.

 

Не UI-тесты идут по 30-50 секунд каждый (генерация данных, загрузка по SSH, обработка на удалёнке, чтение ответа, сравнение данных в БД с вычисленным эталоном)


  • 0
Форум читаю набегами. По возникшим вопросам можно в скайп (в профиле).

#16 Demetri

Demetri

    Активный участник

  • Members
  • PipPip
  • 143 сообщений
  • ФИО:Дмитрий
  • Город:Podgorica, MNE


Отправлено 17 сентября 2014 - 12:15

2,5 часа, 2250 тестов, 15 потоков = ~ 1 минута


  • 0
Hi! I'm a signature virus. Copy me into your signature to help me spread.

#17 Lzk

Lzk

    Специалист

  • Members
  • PipPipPipPipPip
  • 504 сообщений
  • ФИО:Олег
  • Город:Мск

Отправлено 17 сентября 2014 - 12:19

Вэб ~ 35 секунд

Windows desktop - подольше.


  • 0

#18 BabyRoot

BabyRoot

    Специалист

  • Members
  • PipPipPipPipPip
  • 833 сообщений


Отправлено 17 сентября 2014 - 12:24

Web - 30 секунд.


  • 0

#19 wret

wret

    Активный участник

  • Members
  • PipPip
  • 124 сообщений
  • Город:Москва

Отправлено 17 сентября 2014 - 12:38

Если делить время на количество тестов которые приходят в отчетах, то минуты 3 на десктоп UI тест (с учетом разворачивания сред)

Если посчитать все ассерты в каждом из UI тестов то время оч мало


  • 0

#20 BadMF

BadMF

    Специалист

  • Members
  • PipPipPipPipPip
  • 809 сообщений
  • ФИО:Dmitry Petrov

Отправлено 17 сентября 2014 - 13:08

интеграционные тесты около 5-10 минут

модульные секунд 20


  • 0


Количество пользователей, читающих эту тему: 1

0 пользователей, 1 гостей, 0 анонимных