Сообщений в теме: 34

[Spock]

 

 

Это ваше ожидание.
Реальность: вы завели баг, 3 инженера пытаются его локализовать в течение пары дней, и выясняется, что проблема в драйвере принтера, а вы отправляете все нормально (потому что на другом принтере все хорошо). Итого: десяток человеко-дней потрачен впустую.

то есть по вашему все баги можно локализовать и без "железа", чисто на эмуляторах и софте?

 

 

 

Зачем вам тут pairwise?

когда много конфигураций - ОС, принтеров и опций печати например, когда все варианты это слишком много тестов

 

 

 

Без pairwise. Без pairwise. 

посмотрите выше, я и не говорил про пэйрвайз в этом случае. Это про то, что часто тестировать надо на том, что не поставляется в комплекте с приложением, типа на принтерах, магнитных картах, ОС и браузерах

[Vasiliy]

Практика показывает, что не все принтеры одинаковы))
Был случай, что мы проверяли все отчеты на обычном принтере в офисе (хорошая такая модель).
А от заказчика прилетело, что мол у них принтер более старый, без полей печатать не умеет и все наши красивые отчеты летят в тартарары))
Пришлось откопать в закромах старую модель техники и переделать все отчеты.

[Freiman]

Все принтеры разные :)
Но что-то мне кажется, что проблему с полями вы бы не решили с помощью pairwise.

[Freiman]

посмотрите выше, я и не говорил про пэйрвайз в этом случае.
Это про то, что часто тестировать надо на том, что не поставляется в комплекте с приложением, типа на принтерах, магнитных картах, ОС и браузерах

Ну вот! А начинали-то мы как раз с того, что пайрвайз в тестировании окружения и конфигураций не так уж и применим, как про это говорят.

[Vasiliy]

Да, pairwise тут бы не помог))

[Spock]

 

 

Ну вот! А начинали-то мы как раз с того, что пайрвайз в тестировании окружения и конфигураций не так уж и применим, как про это говорят.

сначала мы говорили про пэйрвайз

потом Freiman переводит тему на то, что надо ли тестировать на принтерах которые мы не поставляем с приложением

я уже по этой другой теме привел примеры с платёжными картами и браузерами и ОС

а сейчас Freiman "поймал" - ага, так значит карты это не пэйрвайз! 

 

конечно с картами это не пэйрвайз, это разговор про другую тему, про тестирование на том что не поставляем

[BadMF]

 

 

 

И в какой момент мы перестаем тестировать наше приложение, а тестируем драйвер принтера или его физические возможности? 

 

 

с точки зрения конечного пользователя - "наше приложение" это система, в которую входит и редактор, и физический принтер

 

 

тогда принтер нужен только один, если взаимодействие с принтером написано вами, если оно использует стандартный драйвер, то тестирование 5 принтеров бессмыслено, оно либо приведёт к тем же результатам что и на одном принтере, либо вы будете тестировать код чужой код. 

Если драйвер принтеров пишется с ноля для каждого принтера, а не используется готовый интерфейс, тестирование должно быть каждого принтера в отдельности.

 

Я вам говорю как человек тестировавший учётную систему автоматизации розничной торговли гипермаркетов =)

[BadMF]

но вообще вы тут все говорите об одном и том же =)

 

и пэйрвайз это об одно системе в рамках одного окружения, как только добавляется доп оборудование это уже не применимо =) 

[Сергей]

Давайте поставим вопрос иначе - кто здесь использует паревайс на практике и реальный пример в студию с разбором, иначе ТС тихо в углу сидит и подсмеивается.

 

Мой пример - на входе бизнес-процесс + большая вариативность. 1. Взяли PICT, прогнали параметры, прогнали тест на этих параметрах, сравнили с эталоном - OK. 2. Потом посмотрели и сказали, а на хрена, давай все прогоним. ОК. 3. Другой подход - сели с внедренцем и аналитиком, посмотрели все варианты несколько недель, наложили на риски, если авто - прогнали, если ручное - еще несколько недель погоняли. По последнему подходу - скорее всего будете посланы далеко.

 

Итого, по хорошему, я не видел в практике паревайс, но на собеседовании люблю задавать)

 

Кто применяет не ради любопытства, а ради пользы? С примерами, плиз.

[Spock]

попробую в теории применить, сорри

 

есть мобильное приложение на Андроид (для простоты примера), в приложении 5 модулей/фич, тестирование каждого модуля занимает 5 минут, есть 5 телефонов Андроид на которых тестируем. соответственно тестирование занимает 5х5х5=125 минут

 

например первую итерацию так и протестировали, каждое значение с каждым

 

но например потом регрессионное тестирование можно сократить пейрвайзом до:

телефон1+модуль1

телефон2+модуль2

телефон3+модуль3

телефон4+модуль4

телефон5+модуль5

тестирование займет всего 25 минут

 

в каждую следующую итерацию можно сдвигать значения

 

кому нравится, можно телефоны заменить например на операционки, например ВиндовсХР, Виндовс7, Виндовс8 и Виндовс10

либо на браузеры - Хром, Фаерфокс, Сафари, Эдж и т.п.

либо на базы данных - Оракл, MySQL и т.п.

[frookkie]

Господа оставьте уже пеирвайс. У меня новый вопрос. Дали тестовое задание составить тест кейсы, я их составил все норм, но тут есть вопрос помеченный как дополнительный. Какие из созданных сценариев можно применить при регрессионном тестировании? Ничего про то что будет добавлено или изменено нет. Как мне выбрать нужные?

[Spock]

 

Господа оставьте уже пеирвайс. У меня новый вопрос. Дали тестовое задание составить тест кейсы, я их составил все норм, но тут есть вопрос помеченный как дополнительный. Какие из созданных сценариев можно применить при регрессионном тестировании? Ничего про то что будет добавлено или изменено нет. Как мне выбрать нужные?

нет, не оставим мы пэйрвайз, так как это по теме топика. А другой вопрос задайте в другой отдельной теме

[frookkie]

Я создал) заходите пожалуйста) тема выше

[checo]

Давайте поставим вопрос иначе - кто здесь использует паревайс на практике и реальный пример в студию с разбором, иначе ТС тихо в углу сидит и подсмеивается.

 

Мой пример - на входе бизнес-процесс + большая вариативность. 1. Взяли PICT, прогнали параметры, прогнали тест на этих параметрах, сравнили с эталоном - OK. 2. Потом посмотрели и сказали, а на хрена, давай все прогоним. ОК. 3. Другой подход - сели с внедренцем и аналитиком, посмотрели все варианты несколько недель, наложили на риски, если авто - прогнали, если ручное - еще несколько недель погоняли. По последнему подходу - скорее всего будете посланы далеко.

 

Итого, по хорошему, я не видел в практике паревайс, но на собеседовании люблю задавать)

 

Кто применяет не ради любопытства, а ради пользы? С примерами, плиз.

 

Пробовал, не получилось.

 

Кейсы такие: На портале проверить видимость группы объектов, если доступна - зайти в группу, проверить видимость объекта, если доступен - открыть объект. Проверить наличие на странице определенных кнопок в зависимости от прав пользователя. Проверить возможность изменения и сохранения. Проверить всё то же самое через серверный API.

 

Конфигурация складывается из комбинации условий:

• Индивидуальный доступ к объекту данных (для аккаунта): закрыт, открыт на чтение, открыт на запись
• Групповой доступ к объекту данных (для группы аккаунтов): закрыт, открыт на чтение, открыт на запись
• Индивидуальный доступ к группе объектов: тж.
• Групповой доступ к группе объектов: тж.
• Индивидуальный доступ к объекту по типу записи: тж.
• Групповой доступ к объекту по типу записи: тж.

Тесты делали руками в браузере (да, даже на API). Естественно, процесс изменения прав на сервере не приоритетный и выполняется медленно: выбрал одно условие - ждешь, другое условие - ждешь и т.д., в итоге подготовка каждого кейса занимает несколько минут, и все комбинации попробовать нереально.

 

Пробовали использовать pairwise, но в итоговой таблице было много совсем неинтересных комбинаций. А ведь есть кейсы, когда сам понимаешь, что здесь мы в 1 шаге от ошибки, и они в подборку не попали. В итоге, половину таблицы переписали вручную.

[Spock]

 

 

процесс изменения прав на сервере не приоритетный и выполняется медленно: выбрал одно условие - ждешь, другое условие - ждешь и т.д., в итоге подготовка каждого кейса занимает несколько минут, и все комбинации попробовать нереально.

можно скриптом создавать пользователей у каждого из которых определенный набор прав, и потом этих пользователей использовать в тестах, так не придётся ничего ждать