Сообщений в теме: 45

[user12]

Web ~ 40 - 50 сек

[razielsd]

веб - 30 секунд

[Snap]

web: полминуты-минута

[asolntsev]

У нас 345 UI тестов пробегают за 12м. 43с. Стало быть, примерно 2.2 секунды на тест.

 

Секрет прост: мы не используем медленные внешние сервисы при запуске тестов.

Вместо базы данных Oracle в тестах используем in-memory базу H2, которая быстрая и не требует инсталляции. 

Вместо внешних сервисов (backend, посылка email/SMS и пр.) используем эмуляторы.

 

Добро пожаловать на SQA Days 14-15 ноября,  где я буду рассказывать об этом подробнее!

 

P.S. Честно говоря, остальные ответы меня убили. 

1.5 минуты на тест? 7 минут? 10 минут? Это просто какой-то космос! Ребята, как же вы живёте? Это же после каждого упавшего теста вы снова ждёте исправления несколько часов? Так ведь тесты никогда не станут полностью зелёными... :(

[Snap]

P.S. Честно говоря, остальные ответы меня убили. 

1.5 минуты на тест? 7 минут? 10 минут? Это просто какой-то космос! Ребята, как же вы живёте? Это же после каждого упавшего теста вы снова ждёте исправления несколько часов? Так ведь тесты никогда не станут полностью зелёными... :(

Все субъективно. Может у кого-то в одном тесте проверяется то, что к примеру, у вас проверяется в 10 мини-тестах, не думали? Да и вряд ли часто встречаются системы, где полчаса могут что-то решить, обычно больше времени тратится на бюрократию и прочее.

И не вижу связи про несколько часов и зелеными тестами...

[razielsd]

У нас 345 UI тестов пробегают за 12м. 43с. Стало быть, примерно 2.2 секунды на тест.

Вместо базы данных Oracle в тестах используем in-memory базу H2, которая быстрая и не требует инсталляции. 

 

Речь идет о переключении БД приложения ?
 

 

 

Вместо внешних сервисов (backend, посылка email/SMS и пр.) используем эмуляторы.

Как это согласуется со всякими ITIL ?  например: тестирование не может изменять код приложения. Все эти практики конечно клево и в общем-то известны, проблема когда есть необходимость соответствовать различным международным стандартам.

[asolntsev]

> Речь идет о переключении БД приложения ?

 

Не совсем уверен, что я правильно понял вопрос, но видимо, да. В боевой системе приложение использует базу данных Oracle, при запуске тестов - базу H2.

 

 

Вместо внешних сервисов (backend, посылка email/SMS и пр.) используем эмуляторы.

Как это согласуется со всякими ITIL ?  например: тестирование не может изменять код приложения. Все эти практики конечно клево и в общем-то известны, проблема когда есть необходимость соответствовать различным международным стандартам.

 

 

Про ITIL я ничего пока не знаю. Но принцип "тестирование не может изменять код приложения" явно не может быть выполнен на практике, хотя бы потому, что некоторые вещи просто физически невозможно протестировать. Например, таймаут в 3 года или какой-нибудь очень редкий эксепшн. Или позиция в игре, к которой может привести только последовательность случайных событий. 

У нас принцип ровно обратный: тестирование не только может, но и обязано менять код приложения! Принцип называется TDD - Test Driven Development. Уж не знаю, как он там согласовывается с этим ITIL. 

[barancev]

 

Вместо внешних сервисов (backend, посылка email/SMS и пр.) используем эмуляторы.

Как это согласуется со всякими ITIL ?  например: тестирование не может изменять код приложения. Все эти практики конечно клево и в общем-то известны, проблема когда есть необходимость соответствовать различным международным стандартам.

 

 

А можно ссылочку на эти стандарты, где декларируется, что "тестирование не может изменять код приложения"?

 

И что там считается "кодом"? Например, справочники в базе данных можно менять? А конфигурационные файлы? И считается ли подмена базы данных или файловой системы на фейковую "изменением кода"?

 

И чем, например, эмулятор SMS-центра отличается от "настоящего" SMS-центра, с точки зрения тестируемого приложения? Или чем "подставной" почтовый сервер хуже Gmail или Yandex-почты?

[razielsd]

 

> Речь идет о переключении БД приложения ?

 

Не совсем уверен, что я правильно понял вопрос, но видимо, да. В боевой системе приложение использует базу данных Oracle, при запуске тестов - базу H2.

Зачем тогда использовать Oracle, если его можно заменить на H2 ? почему нельзя тогда в приложении использовать более легковесную БД ?

 

 

Про ITIL я ничего пока не знаю. Но принцип "тестирование не может изменять код приложения" явно не может быть выполнен на практике, хотя бы потому, что некоторые вещи просто физически невозможно протестировать. Например, таймаут в 3 года или какой-нибудь очень редкий эксепшн. Или позиция в игре, к которой может привести только последовательность случайных событий. 

У нас принцип ровно обратный: тестирование не только может, но и обязано менять код приложения! Принцип называется TDD - Test Driven Development. Уж не знаю, как он там согласовывается с этим ITIL. 

 

Про TDD я в курсе. По ITIL тесты которые пишут разработчики, они "не считаются", должны быть внешние тесты от кода приложения тесты, которые тестируют приложение.

 

 

 

А можно ссылочку на эти стандарты, где декларируется, что "тестирование не может изменять код приложения"?

 

И что там считается "кодом"? Например, справочники в базе данных можно менять? А конфигурационные файлы? И считается ли подмена базы данных или файловой системы на фейковую "изменением кода"?

 

И чем, например, эмулятор SMS-центра отличается от "настоящего" SMS-центра, с точки зрения тестируемого приложения? Или чем "подставной" почтовый сервер хуже Gmail или Yandex-почты?

 

 

Ссылку не дам, самого интерисуют эти вопросы, пока выносим из кода тестов код приложения, немного позже буду плотнее изучать этот вопрос, надеялся, что тут есть еще жерты подобных стандартов :)


 

[barancev]

Кажется Вас кто-то дезинформировал насчёт "требований стандартов" 

[razielsd]

Кажется Вас кто-то дезинформировал насчёт "требований стандартов" 

 

Смотря по какому вопросу:
1. насчет конфигов как раз вопрос остается открытым.
2. тесты, которые пишут тестировщики, должны быть полностью отделены от кода приложения, т.е. бд, стравочники и все остальное тесты изменять не имеют права.
3. Замена одной БД на другую (Oracle на H2) - не будут ли за такое пинать при аудите ? лично я бы пнул как минимум за не рациональное использование Oracle.

[barancev]

2. тесты, которые пишут тестировщики, должны быть полностью отделены от кода приложения, т.е. бд, стравочники и все остальное тесты изменять не имеют права.

 

Ну предоставьте хоть какие-нибудь доказательства или подтверждения этого тезиса :)

[barancev]

Небольшое пояснение для тех, кто заявляет, что не знает, что такое ITIL :)

 

Это процессная модель, которая даёт рекомендации, как "правильно" организовать IT-сервис в неайтишной в целом компании. IT-компании как правило эту модель не используют, потому что у них IT это не сервис, а весь бизнес целиком. Ну или используют, но именно для описания внутреннего IT-сервиса -- администрирование, внутренняя разработка, техподдержка внутри компании. Но вообще-то айтишным компаниям больше подходит CMM/CMMI, если уж приспичило обеспечить соответствие какой-нибудь процессной модели.

 

Так вот, ITIL (как и любая другая процессная модель), разумеется, не опускается до таких "низменных" вопросов, как "должны быть отделены тесты от кода приложения или нет". Что написано в ITIL про тестирование? Там написано, что оно должно быть. Что у него есть несколько фаз. Что есть определённые роли (менеджеры, инженеры, пользователи -- не забываем, что речь идёт про IT как сервис, поэтому пользователи тоже являются частью модели). Наконец, там говорится, что в результате фазы Test Model Definition должна быть создана Test Model, то есть описание того, что и как надо тестировать. Но вот что там будет в этой Test Model -- это сугубо ваше личное дело, что хотите, то и пишите, главное, что она должна быть, для соблюдения требований процессной модели этого вполне достаточно.

[razielsd]

Интересно, тогда попробую уточнить из каких именно источников взяли эти требования наши аудиторы.

[vmaximv]

Тестировать подкожными инъекциями сферического коня в вакууме со сверхсветовой скоростью можно, если есть ресурсы на создание этого вакуума и сферизации коня.

Но это не исключает вероятности, что конь после рассферизации и помещении в нормальную атмосферу не окажется трехногим верблюдом.

[asolntsev]

 

Ну как, для каждой цели свой инструмент.

H2 отлично подходит для тестов, потому что он легко запускается и не требует инсталляции. Но наверное, он не подходит для боевой системы, потому что, вероятно, он не умеет эффективно обрабатывать большие объёмы данных. Не зря же Oracle столько стоит - у него и скорость, и безопасность, и все дела. 

[wret]

 

 

Ну как, для каждой цели свой инструмент.

H2 отлично подходит для тестов, потому что он легко запускается и не требует инсталляции. Но наверное, он не подходит для боевой системы, потому что, вероятно, он не умеет эффективно обрабатывать большие объёмы данных. Не зря же Oracle столько стоит - у него и скорость, и безопасность, и все дела. 

 

Наш софт должен поддерживать три различные СУБД

Если я скажу, что буду вместо них буду проверять на H2 меня мягко говоря не поймут

Oracle ХЕ бесплатен

[Николай]

1.5 минуты

[Molechka]

У нас тоже в бою используется Oracle или MariaDb, но внутренние тесты гоняются на H2, проверяя логику приложения.

Но в каждом проекте (каждом Заказчике) есть интеграционные тесты, которые честно поднимают наше приложение, разворачивают схему Oracle или MariaDb и проводят на ней честные тесты.

• Тесты на Н2 - 1742 теста за полчаса (плюс минус), порядка 49 тестов в минуту.
• Интеграционники - 79 тестов за 20 минут.

Но там много времени уходит на разворачивание окружения, сами тесты в итоге проходят очень быстро

[razielsd]

Так вот, ITIL (как и любая другая процессная модель), разумеется, не опускается до таких "низменных" вопросов, как "должны быть отделены тесты от кода приложения или нет".

Уточнил, в самом ITIL этого действительно нет, но сам он ссылается на другие стандарты, например ISO 9001, и именно в нем уже прописано то о чем, я говорил выше. Соответственно настройки приложения менять можно, но они должны быть идентичными боевым т.е. заменить почтовый сервер на другой можно, а поменять Oracle на H2 - нельзя.