Сообщений в теме: 45

[barancev]

Коллеги, расскажите, сколько времени у вас выполняется среднестатистический автотест?

 

Не надо писать про отдельные тесты, что бывают длинные, бывают короткие, это понятно.

 

Просто возьмите общее время выполнения всего тестового набора и поделите на количество тестов в нём.

Сколько получилось?

[appmen]

UI тесты 20 секунд +/-

[ryjii]

Нечто, отдалённо напоминающее Continious Integration выполняется ~7 часов, это порядка 800 "тестов". Если поделить, получается 30 секунд, но это нечестное измерение, потому что тесты идут параллельно.

Десктопный продукт, самописная система, пару десятков виртуалок в работе.

[barancev]

Нечто, отдалённо напоминающее Continious Integration выполняется ~7 часов, это порядка 800 "тестов". Если поделить, получается 30 секунд, но это нечестное измерение, потому что тесты идут параллельно.

Десктопный продукт, самописная система, пару десятков виртуалок в работе.

 

Если параллельно, то надо просто это значение (30 секунд) умножить на количество потоков, и получится искомая цифра.

[esichko]

в среднем полторы минуты

[beteshnik]

Полторы минуты. На мой взгляд, долго. Причины:

- интеграция с медленно работающими сторонними сервисами

- слабые характеристики тестовой площадки

[deasturies]

1-1.5 минут

[ashipovalov]

Около минуты. Но у меня пре-прод, удаленный и среднее время отклика около 8 секунд.

[maxslon]

Сейчас примерно 680 тестов выполняются в 9 потоков за 80 минут (+/-, т.к часть из них падает).

Итого получаем 63,5 секунды, то есть минута с небольшим.

[ilevoshko]

В среднем 20-25 секунд для всего пакета в ~800 тестов. Но разброс от минимума до максимума значительный. 

[dima.dubyk]

в среднем 1 минута 8 секунд

[slasva]

~10 мин

[ryjii]

 

Нечто, отдалённо напоминающее Continious Integration выполняется ~7 часов, это порядка 800 "тестов". Если поделить, получается 30 секунд, но это нечестное измерение, потому что тесты идут параллельно.

Десктопный продукт, самописная система, пару десятков виртуалок в работе.

 

Если параллельно, то надо просто это значение (30 секунд) умножить на количество потоков, и получится искомая цифра.

 

Не получится, потому что значение потоков не константное. Очень грубо можно считать, что параллельно выполняется 10-15 тестов, но в течение времени это значение сильно меняется.

Чтобы не забивать тред оффтопиком, давайте считать, что 7 минут.

[VitalyD]

45 секунд

[Petrov.Sergey]

UI-тесты идут по 20 секунд + предварительные 2-5 минут на подготовку данных в БД. Соответственно, среднее значение варьируется в зависимости от количества тестов.

 

Не UI-тесты идут по 30-50 секунд каждый (генерация данных, загрузка по SSH, обработка на удалёнке, чтение ответа, сравнение данных в БД с вычисленным эталоном)

[Demetri]

2,5 часа, 2250 тестов, 15 потоков = ~ 1 минута

[Lzk]

Вэб ~ 35 секунд

Windows desktop - подольше.

[BabyRoot]

Web - 30 секунд.

[wret]

Если делить время на количество тестов которые приходят в отчетах, то минуты 3 на десктоп UI тест (с учетом разворачивания сред)

Если посчитать все ассерты в каждом из UI тестов то время оч мало

[BadMF]

интеграционные тесты около 5-10 минут

модульные секунд 20