Сообщений в теме: 18

[barancev]

Я периодически сталкиваюсь с мнением, что после выполнения тестов нужно "почистить за собой", то есть удалить все артефакты, которые были созданы в процессе тестирования. При этом сам я придерживаюсь противоположной точки зрения.

 

Особенно часто это мнение встречается в контексте автотестирования, но и при ручном тестировании вопрос тоже актуален.

 

Так удалять или не удалять? И если удалять, то когда -- после каждого теста или в самом конце?

[aid]

Не удаляю корректные, а когда вижу, что какой то тестер создал и оставил сущность а-ля dfhjhsdf jhkasdfh удаляю и говорю не делать так. Как минимум после окончания тестирования версии и оформления багов. Оставлять такое можно только в качестве иллюстрации, если это в принципе баг.

[Vasiliy]

Автотесты чистят не после себя, а перед собой)

Очень часто для тестов поднимается эталонная виртуалка, которая убивается после тестов.

Не могу понять зачем чистить после ручного тестирования. Да, я создал запись вида "QWERTYFDSA" и что? Это тестовая база, через неделю будет новый дамп - моя запись сама исчезнет.

 

Знаю одну известную контору, которая при тестировании большого гос. портала федерального уровня оставила там тестовые данные вида "Тестовая запись 1...N")) Когда я с ними обсудил этот момент, мне сказали, что там или нельзя было удалить записи, или это было и не нужно.. :)

Тестовые данные я нашел уже в продакшене, как пользователь сервиса.

[barancev]

Не удаляю корректные, а когда вижу, что какой то тестер создал и оставил сущность а-ля dfhjhsdf jhkasdfh удаляю и говорю не делать так. Как минимум после окончания тестирования версии и оформления багов. Оставлять такое можно только в качестве иллюстрации, если это в принципе баг.

 

Для иллюстрации -- отличный аргумент! Записал себе в блокнотик, чтобы бороться с "чистильщиками".

Причём не всегда заранее знаешь, что понадобится для иллюстрации впоследствии, поэтому лучше оставить всё.

Улики уничтожать нельзя :)

[barancev]

Автотесты чистят не после себя, а перед собой)

 

Яростно плюсую! Кому надо -- тот пусть и чистит. Мешают какие-то данные выполнению теста -- пусть он их и удаляет, если по другому не может выполниться.

[Little_CJIOH]

+1 к зачистке перед тестом. 

Если в автотестах что-то пошло не так - всегда есть возможность потыкать в систему пальцем и посмотреть как она реагирует.

Также использую автотесты для настройки системы перед ручными тестами новых фич.

[SALar]

Случаев много разных.

* Иногда надо удалять.

* Желательно удалять.

* Иногда можно удалять.

* Желательно не удалять.

* Иногда надо не удалять.

 

Зависит от текущей ситуации. Это как с приготовлением пищи. "Надо ли добавлять кардамон и корицу в еду?" В овсяную кашу, пожалуй, не стоит.

[barancev]

Понятно, что иногда да, иногда нет. Но уклончивый ответ "it depends on" не имеет никакой практической ценности.

Меня интересуют конректные аргументы за или против. Хотя бы для каких-то частных случаев.

Например, когда обязательно надо удалять, иначе кирдык. Или когда точно НЕ надо удалять.

[aid]

Понятно, что иногда да, иногда нет. Но уклончивый ответ "it depends on" не имеет никакой практической ценности.

Меня интересуют конректные аргументы за или против. Хотя бы для каких-то частных случаев.

Например, когда обязательно надо удалять, иначе кирдык. Или когда точно НЕ надо удалять.

 

Частный случай, когда не надо точно удалять из практики. Одна соцсеть, в процессе тестирования выяснилось, что у пользователей есть привилегии, которыми они пользоваться не должны. Проект надо заметить работает и давно. Через неделю, разработчики рапортуют, что пофиксили. Завёл новый тестовый аккаунт, проверил, пофиксили. Но не поленился и проверил с аккаунта, созданного до баг-репорта. Опа, воспроизводится чудесным образом. Чтобы пофиксить для ВСЕХ аккаунтов, у разработчиков уже ушло почти 3 недели. С периодическими докладами "всё работает", что истине не соответствовало. 

[Molechka]

Конкретный пример — после выкладки билда в прод (ночью, дабы не мешать работе) тестировщики на проде гоняли смоук-тесты вручную.

По окончании надо было почистить за собой, чтобы твой «Иванов Иван» нигде не светился и не вводил юзеров в заблуждение

[barancev]

А нельзя ли тестерам на проде сделать песочницу? Тестовые аккаунты какие-нибудь? Ведь не видят же клиенты данные друг друга, изоляция какая-то есть.

[Molechka]

Алексей, вы мне? :)

Песочницу делать было нельзя, потому что там была система для операционистов, которые видят всех пользователей. И тестовые сущности могли ввести в заблуждение, особенно с нормальными названиями, а не kjdiwrhgi vgjrhgkeir :)

[vinogradoff]

Чаще буду за "чистить", чтобы оставлять систему в том же состоянии, что и до тестов, и иметь меньше неожиданных побочных эффектов (тест нашел и обработал данные из старого теста).

Пример - пользователя создал, удалил на выходе. Товар в магазине создал, удалил на выходе.

 

"Не чистить" - реже, когда тестовый сет не будет "настоящим" дубликатом и от большого количества тестовых данных ожидаю дополнительную пользу.

Например: покупка в магазине - не удалять т.к. покупка следующего прогона не должна пересекаться с предыдущей. Трансакция перевода денег с одного счета на другой - такие трансакции не удаляются в продуктивной системе, не буду удалять и в тестовой. 

[Llanie]

Зависит от текущей ситуации. Это как с приготовлением пищи. "Надо ли добавлять кардамон и корицу в еду?" В овсяную кашу, пожалуй, не стоит.

В овсяную кашу корица отлично идёт, кардамон тоже можно.
 
По делу:

Для сферической тестовой среды в вакууме, с которой (теоретически) в продуктивную ничего не уходит, предпочитаю средний вариант "содержать систему в порядке". На примере условного е-магазина, удобно иметь клиента с историей покупок, настроенные скидки и хоть какой-то набор товаров, это позволяет тратить меньше времени на какие-то вещи и даёт возможность делать перепроверки на тех же данных. А вот всякие "тестовый товар 42", если в нём нет никаких уникальных настроек, лучше удалять, чтобы потом в них не путаться (если есть что-то ценное, то переименовать понятнее).

[Tishka]

Лично для меня есть 2 варианта:

1. Если тестировать на продакшене, то тестировщик должен за собой "убрать" =)

2. Если тестировать на тестовом, то можно и не чистить. В моем случае чистит за меня скрипт, написанный разработчиками.

Скрипт каждый день очищает базу и заливает туда "рыбу".

[SALar]

Нужно собрать все случаи и написать статью. 

Это реально нужно.

[Tishka]

Нужно собрать все случаи и написать статью. 

Это реально нужно.

Поддерживаю, предлагаю чтобы каждый желающий описал свои случаи.

А модератор, ну или тот кто захочет все собрать воедино, сделает статью.

 P.S. готов рассказать  свои случаи.

[barancev]

 

Нужно собрать все случаи и написать статью. 

Это реально нужно.

Поддерживаю, предлагаю чтобы каждый желающий описал свои случаи.

А модератор, ну или тот кто захочет все собрать воедино, сделает статью.

 P.S. готов рассказать  свои случаи.

 

Так рассказывайте же! :)

А я как раз планирую про это написать, и именно для этой цели собираю аргументы за и против.

[Tishka]

Гейм-дев.

Проект "Blood and Soul".

Были определенные задачи, которые по тем или иным причинам можно было протестировать только на боевых серверах.

Вот краткий список:

- получения титулов

- навыков

- ачивок

- получение предметов в зависимости от рейтинга снаряжения игрока

Тестирования этого функционала делалось только перед рестартом сервера. Рейтинг висит неделю или до рестарта сервера.

Потому что если "нарисовать" топ-персонажей, реальные игроки не получат то что мы получили с помощью "нарисованных" персонажей.

 

Был один случай когда инженер отвечающий за установку патчей дал отмашку на то что можно тестировать.

Он забыл о том, что мы тестируем функционал доступный только на боевом и рестартанул.

В результате пришлось еще на 1 час продливать тех. работы, чтобы еще раз рестартануть сервер.

По подсчетам аналитиков 1 час простоя одного сервера примерно 100к рублей(я не знаю как он это считал)

Серверов 12. Ну и банальное умножение показывает сколько обходится 1 час простоя на 12 серверах.

 

Другой пример. Проект Combat Arms.

Для теста нового снаряжения и оружия необходимо было создать ГМ аккаунты с максимальным игровым рангом на ПТС(продакшен тест сервер).

Суть в том что база у ПТС и боевого сервера одна. Ну и по классике жанра инженер забыл=)

 

В результате игроки которых ГМ аккаунты подвинули с топ-10 были очень агрессивны.

(чтобы войти в топ-10 нужно было примерно 3 года играть каждый день по 7-8 часов)

Ну и как всегда это все выслушивал отдел тех. поддержки =)

 

Итог: Если тестирование происходит в продакшен среде, чистите все что вы делали.

А если у вас нет прав на это, то трусите изо всех сил того кто все почистит =)

Так как в случае фейла по "шапке" получат все кто работают над проектом.