Перейти к содержимому

Программирование на Python для тестировщиков
онлайн, начало 23 октября
Тестирование безопасности
онлайн, начало 28 октября
Школа для начинающих тестировщиков
онлайн, начало 22 октября
Автоматизатор мобильных приложений
онлайн, начало 28 октября
Фотография

Сколько времени выполняется среднестатистический автотест?


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 45

#21 user12

user12

    Специалист

  • Members
  • PipPipPipPipPip
  • 839 сообщений
  • ФИО:Виктор
  • Город:Минск


Отправлено 17 сентября 2014 - 13:09

Web ~ 40 - 50 сек


  • 0

#22 razielsd

razielsd

    Новый участник

  • Members
  • Pip
  • 32 сообщений


Отправлено 19 сентября 2014 - 10:52

веб - 30 секунд


  • 0

#23 Snap

Snap

    Специалист

  • Members
  • PipPipPipPipPip
  • 850 сообщений
  • ФИО:Роман
  • Город:Москва


Отправлено 19 сентября 2014 - 13:44

web: полминуты-минута


  • 0

http://starbugss.blogspot.ru - "Звездные баги", мой блог.


#24 asolntsev

asolntsev

    Новый участник

  • Members
  • Pip
  • 59 сообщений
  • ФИО:Андрей Солнцев
  • Город:Таллинн

Отправлено 20 сентября 2014 - 21:35

У нас 345 UI тестов пробегают за 12м. 43с. Стало быть, примерно 2.2 секунды на тест.

 

Секрет прост: мы не используем медленные внешние сервисы при запуске тестов.

Вместо базы данных Oracle в тестах используем in-memory базу H2, которая быстрая и не требует инсталляции. 

Вместо внешних сервисов (backend, посылка email/SMS и пр.) используем эмуляторы.

 

Добро пожаловать на SQA Days 14-15 ноября,  где я буду рассказывать об этом подробнее!

 

P.S. Честно говоря, остальные ответы меня убили. 

1.5 минуты на тест? 7 минут? 10 минут? Это просто какой-то космос! Ребята, как же вы живёте? Это же после каждого упавшего теста вы снова ждёте исправления несколько часов? Так ведь тесты никогда не станут полностью зелёными... :(


  • 0

#25 Snap

Snap

    Специалист

  • Members
  • PipPipPipPipPip
  • 850 сообщений
  • ФИО:Роман
  • Город:Москва


Отправлено 21 сентября 2014 - 18:32

P.S. Честно говоря, остальные ответы меня убили. 

1.5 минуты на тест? 7 минут? 10 минут? Это просто какой-то космос! Ребята, как же вы живёте? Это же после каждого упавшего теста вы снова ждёте исправления несколько часов? Так ведь тесты никогда не станут полностью зелёными... :(

Все субъективно. Может у кого-то в одном тесте проверяется то, что к примеру, у вас проверяется в 10 мини-тестах, не думали? Да и вряд ли часто встречаются системы, где полчаса могут что-то решить, обычно больше времени тратится на бюрократию и прочее.

И не вижу связи про несколько часов и зелеными тестами...


  • 0

http://starbugss.blogspot.ru - "Звездные баги", мой блог.


#26 razielsd

razielsd

    Новый участник

  • Members
  • Pip
  • 32 сообщений


Отправлено 21 сентября 2014 - 20:00

У нас 345 UI тестов пробегают за 12м. 43с. Стало быть, примерно 2.2 секунды на тест.


Вместо базы данных Oracle в тестах используем in-memory базу H2, которая быстрая и не требует инсталляции. 

 

Речь идет о переключении БД приложения ?
 

 

 

Вместо внешних сервисов (backend, посылка email/SMS и пр.) используем эмуляторы.

Как это согласуется со всякими ITIL ?  например: тестирование не может изменять код приложения. Все эти практики конечно клево и в общем-то известны, проблема когда есть необходимость соответствовать различным международным стандартам.


  • 0

#27 asolntsev

asolntsev

    Новый участник

  • Members
  • Pip
  • 59 сообщений
  • ФИО:Андрей Солнцев
  • Город:Таллинн

Отправлено 23 сентября 2014 - 21:32

> Речь идет о переключении БД приложения ?

 

Не совсем уверен, что я правильно понял вопрос, но видимо, да. В боевой системе приложение использует базу данных Oracle, при запуске тестов - базу H2.

 

 

Вместо внешних сервисов (backend, посылка email/SMS и пр.) используем эмуляторы.

Как это согласуется со всякими ITIL ?  например: тестирование не может изменять код приложения. Все эти практики конечно клево и в общем-то известны, проблема когда есть необходимость соответствовать различным международным стандартам.

 

 

Про ITIL я ничего пока не знаю. Но принцип "тестирование не может изменять код приложения" явно не может быть выполнен на практике, хотя бы потому, что некоторые вещи просто физически невозможно протестировать. Например, таймаут в 3 года или какой-нибудь очень редкий эксепшн. Или позиция в игре, к которой может привести только последовательность случайных событий. 

У нас принцип ровно обратный: тестирование не только может, но и обязано менять код приложения! Принцип называется TDD - Test Driven Development. Уж не знаю, как он там согласовывается с этим ITIL. 


  • 0

#28 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 847 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 24 сентября 2014 - 09:16

 

Вместо внешних сервисов (backend, посылка email/SMS и пр.) используем эмуляторы.

Как это согласуется со всякими ITIL ?  например: тестирование не может изменять код приложения. Все эти практики конечно клево и в общем-то известны, проблема когда есть необходимость соответствовать различным международным стандартам.

 

 

А можно ссылочку на эти стандарты, где декларируется, что "тестирование не может изменять код приложения"?

 

И что там считается "кодом"? Например, справочники в базе данных можно менять? А конфигурационные файлы? И считается ли подмена базы данных или файловой системы на фейковую "изменением кода"?

 

И чем, например, эмулятор SMS-центра отличается от "настоящего" SMS-центра, с точки зрения тестируемого приложения? Или чем "подставной" почтовый сервер хуже Gmail или Yandex-почты?


  • 0

Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium


#29 razielsd

razielsd

    Новый участник

  • Members
  • Pip
  • 32 сообщений


Отправлено 24 сентября 2014 - 13:06

 

> Речь идет о переключении БД приложения ?

 

Не совсем уверен, что я правильно понял вопрос, но видимо, да. В боевой системе приложение использует базу данных Oracle, при запуске тестов - базу H2.

Зачем тогда использовать Oracle, если его можно заменить на H2 ? почему нельзя тогда в приложении использовать более легковесную БД ?

 

 

Про ITIL я ничего пока не знаю. Но принцип "тестирование не может изменять код приложения" явно не может быть выполнен на практике, хотя бы потому, что некоторые вещи просто физически невозможно протестировать. Например, таймаут в 3 года или какой-нибудь очень редкий эксепшн. Или позиция в игре, к которой может привести только последовательность случайных событий. 

У нас принцип ровно обратный: тестирование не только может, но и обязано менять код приложения! Принцип называется TDD - Test Driven Development. Уж не знаю, как он там согласовывается с этим ITIL. 

 

Про TDD я в курсе. По ITIL тесты которые пишут разработчики, они "не считаются", должны быть внешние тесты от кода приложения тесты, которые тестируют приложение.

 

 

 

А можно ссылочку на эти стандарты, где декларируется, что "тестирование не может изменять код приложения"?

 

И что там считается "кодом"? Например, справочники в базе данных можно менять? А конфигурационные файлы? И считается ли подмена базы данных или файловой системы на фейковую "изменением кода"?

 

И чем, например, эмулятор SMS-центра отличается от "настоящего" SMS-центра, с точки зрения тестируемого приложения? Или чем "подставной" почтовый сервер хуже Gmail или Yandex-почты?

 

 

Ссылку не дам, самого интерисуют эти вопросы, пока выносим из кода тестов код приложения, немного позже буду плотнее изучать этот вопрос, надеялся, что тут есть еще жерты подобных стандартов :)


 


  • 0

#30 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 847 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 24 сентября 2014 - 14:09

Кажется Вас кто-то дезинформировал насчёт "требований стандартов"  :smile:


  • 0

Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium


#31 razielsd

razielsd

    Новый участник

  • Members
  • Pip
  • 32 сообщений


Отправлено 24 сентября 2014 - 20:52

Кажется Вас кто-то дезинформировал насчёт "требований стандартов"  :smile:

 

Смотря по какому вопросу:
1. насчет конфигов как раз вопрос остается открытым.
2. тесты, которые пишут тестировщики, должны быть полностью отделены от кода приложения, т.е. бд, стравочники и все остальное тесты изменять не имеют права.
3. Замена одной БД на другую (Oracle на H2) - не будут ли за такое пинать при аудите ? лично я бы пнул как минимум за не рациональное использование Oracle.


  • 0

#32 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 847 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 25 сентября 2014 - 05:33

2. тесты, которые пишут тестировщики, должны быть полностью отделены от кода приложения, т.е. бд, стравочники и все остальное тесты изменять не имеют права.

 

Ну предоставьте хоть какие-нибудь доказательства или подтверждения этого тезиса :)


  • 0

Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium


#33 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 847 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 25 сентября 2014 - 05:50

Небольшое пояснение для тех, кто заявляет, что не знает, что такое ITIL :)

 

Это процессная модель, которая даёт рекомендации, как "правильно" организовать IT-сервис в неайтишной в целом компании. IT-компании как правило эту модель не используют, потому что у них IT это не сервис, а весь бизнес целиком. Ну или используют, но именно для описания внутреннего IT-сервиса -- администрирование, внутренняя разработка, техподдержка внутри компании. Но вообще-то айтишным компаниям больше подходит CMM/CMMI, если уж приспичило обеспечить соответствие какой-нибудь процессной модели.

 

Так вот, ITIL (как и любая другая процессная модель), разумеется, не опускается до таких "низменных" вопросов, как "должны быть отделены тесты от кода приложения или нет". Что написано в ITIL про тестирование? Там написано, что оно должно быть. Что у него есть несколько фаз. Что есть определённые роли (менеджеры, инженеры, пользователи -- не забываем, что речь идёт про IT как сервис, поэтому пользователи тоже являются частью модели). Наконец, там говорится, что в результате фазы Test Model Definition должна быть создана Test Model, то есть описание того, что и как надо тестировать. Но вот что там будет в этой Test Model -- это сугубо ваше личное дело, что хотите, то и пишите, главное, что она должна быть, для соблюдения требований процессной модели этого вполне достаточно.


  • 0

Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium


#34 razielsd

razielsd

    Новый участник

  • Members
  • Pip
  • 32 сообщений


Отправлено 25 сентября 2014 - 07:02

Интересно, тогда попробую уточнить из каких именно источников взяли эти требования наши аудиторы.


  • 0

#35 vmaximv

vmaximv

    Опытный участник

  • Members
  • PipPipPipPip
  • 350 сообщений

Отправлено 25 сентября 2014 - 07:16

Тестировать подкожными инъекциями сферического коня в вакууме со сверхсветовой скоростью можно, если есть ресурсы на создание этого вакуума и сферизации коня.

Но это не исключает вероятности, что конь после рассферизации и помещении в нормальную атмосферу не окажется трехногим верблюдом.


  • 2

#36 asolntsev

asolntsev

    Новый участник

  • Members
  • Pip
  • 59 сообщений
  • ФИО:Андрей Солнцев
  • Город:Таллинн

Отправлено 25 сентября 2014 - 21:31

 

Ну как, для каждой цели свой инструмент.

H2 отлично подходит для тестов, потому что он легко запускается и не требует инсталляции. Но наверное, он не подходит для боевой системы, потому что, вероятно, он не умеет эффективно обрабатывать большие объёмы данных. Не зря же Oracle столько стоит - у него и скорость, и безопасность, и все дела. 


  • 1

#37 wret

wret

    Активный участник

  • Members
  • PipPip
  • 124 сообщений
  • Город:Москва

Отправлено 26 сентября 2014 - 05:01

 

 

Ну как, для каждой цели свой инструмент.

H2 отлично подходит для тестов, потому что он легко запускается и не требует инсталляции. Но наверное, он не подходит для боевой системы, потому что, вероятно, он не умеет эффективно обрабатывать большие объёмы данных. Не зря же Oracle столько стоит - у него и скорость, и безопасность, и все дела. 

 

Наш софт должен поддерживать три различные СУБД

Если я скажу, что буду вместо них буду проверять на H2 меня мягко говоря не поймут

Oracle ХЕ бесплатен


  • 0

#38 Николай

Николай

    Новый участник

  • Members
  • Pip
  • 2 сообщений
  • ФИО:Николай

Отправлено 26 сентября 2014 - 06:19

1.5 минуты


  • 0

#39 Molechka

Molechka

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 213 сообщений
  • ФИО:Ольга Назина (Киселева)
  • Город:Москва


Отправлено 26 сентября 2014 - 09:04

У нас тоже в бою используется Oracle или MariaDb, но внутренние тесты гоняются на H2, проверяя логику приложения.

Но в каждом проекте (каждом Заказчике) есть интеграционные тесты, которые честно поднимают наше приложение, разворачивают схему Oracle или MariaDb и проводят на ней честные тесты.

  • Тесты на Н21742 теста за полчаса (плюс минус), порядка 49 тестов в минуту.
  • Интеграционники - 79 тестов за 20 минут.

Но там много времени уходит на разворачивание окружения, сами тесты в итоге проходят очень быстро


  • 0
Автор сайта для начинающих тестировщиков http://testbase.ru/
Автор портала проверки названий багов http://bugred.ru/
Веду блог http://okiseleva.blogspot.com/

#40 razielsd

razielsd

    Новый участник

  • Members
  • Pip
  • 32 сообщений


Отправлено 01 октября 2014 - 08:22


Так вот, ITIL (как и любая другая процессная модель), разумеется, не опускается до таких "низменных" вопросов, как "должны быть отделены тесты от кода приложения или нет".

Уточнил, в самом ITIL этого действительно нет, но сам он ссылается на другие стандарты, например ISO 9001, и именно в нем уже прописано то о чем, я говорил выше. Соответственно настройки приложения менять можно, но они должны быть идентичными боевым т.е. заменить почтовый сервер на другой можно, а поменять Oracle на H2 - нельзя.


  • 0


Программирование на С# для тестировщиков
онлайн
Автоматизатор мобильных приложений
онлайн
Selenium WebDriver: полное руководство
онлайн
Программирование на Python для тестировщиков
онлайн



Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных

Яндекс.Метрика
Реклама на портале