Сообщений в теме: 7

[X-Ray]

В нашей фирме, специализирующейся на создании веб-аппликаций, наконец решили создать группу тестировщиков. В связи с этим у меня к вам вопросы.
Какие методики и типы тестов применяются при manual тестировании Web-приложений?
В чем принципиальное отличие от тестирования обычных Windows-приложений?
Можно ли протестировать, скажем, систему показа баннеров (advertiser-publisher) при отсутствии средств автоматического тестирования?

[romanl]

Какие методики и типы тестов применяются при manual тестировании Web-приложений?

Якщо я тебе зрозумів правильно ("manual" це ручне тестування) то в нас проводяться тукі типи тестувань:

• Тестування базової функціональності та дизайну (або як його ще називають - бізнес функ.);
• Регресивне тестування;
• Навантажувальне тестування;
• Тестування Security;

В чем принципиальное отличие от тестирования обычных Windows-приложений?

Тут я не сильний - ніколи не тестував Windows-проги, але можу сказати одне: динаміка тестування web-програм (сайтів напр.) є дуже висока, тобто якщо на розробку софта іде від кількох місяців до кількох років, а внас наприклад розробка одного сайту займає від кількох днів до декількох місяців. Як наслідок часу на написання тест кейсів, автоматичних скриптів та іншої документації майже немає.

Можно ли протестировать, скажем, систему показа баннеров (advertiser-publisher) при отсутствии средств автоматического тестирования?

Наскільки я розумію мова йде про автоматизоване тестування і використання відповідного софта, напр. QuickTest, в такому випадку- можна, оскільки скрипт (який виконує автоматичне тестування) виконує все те що можна зробити кучками.

[barancev]

Какие методики и типы тестов применяются при manual тестировании Web-приложений?

Если Вы уточните, что Вы понимаете под "ручным тестированием", будет несколько легче ответить:

- ручное выполнение тестов (например, с использованием чек-листов в виде документа Word и трёх девочек, тыкающих кнопки мышью):
либо
- самодельная автоматизация с написанием скриптов руками без использования навороченных инстументов.

В первом случае, вероятно, ожидаются рекомендации по методикам, как правильно и систематически составлять чек-листы. Во втором случае - как обойтись без дорогих инструментов, но и не писать руками слишком много. Чего изволите?

В чем принципиальное отличие от тестирования обычных  Windows-приложений?

Отличия есть, конечно, как технические, так и концептуальные. Все перечислять долго (да и не смогу я все, потому что я не матёрый тестер, а руководитель проекта, так что многих деталей не знаю), но пару примеров приведу.

- Технически веб-приложения нужно тестировать не только "как есть", но и на совместимость с "клиентской платформой", в частности, с различными браузерами, с различными конфигурациями использования прокси и файрволов, которые кешируют страницы, меняют HTTP-запросы и проч.

- Концептуальное отличие есть, например, такое. GUI предотвращает ввод некорректных данных, поэтому на модель накладывается меньше требований по проверке входных данных. Для веб-приложения это не так, сколько бы JavaScript на страничке не проверял данные, всякий клиент может просто сформировать запрос с некорректными данными и отправить его. Поэтому для Web-приложений тестирование нужно проводить не только через UI, но и "напрямую", без отсева некорректных данных.

Можно ли протестировать, скажем,  систему показа баннеров (advertiser-publisher) при отсутствии средств автоматического тестирования?

Можно. Руками вообще можно протестировать всё, даже то, что автоматически нельзя. Долго только очень :)

[Covex]

Какие методики и типы тестов применяются при manual тестировании Web-приложений?

Используем следующее:
1. Функциональное черного ящика, по написанным тестовым случаям или проверочным листам.
2. Интеграционное (проводит логистик, тестеры только наблюдаю за процессом).
3. Системное.
4. Производительности (нагрузочное, стрессовое и т.п.). Тестируем серый ящик, т.е. виртуальные пользователи работают не с браузером, а непосредственно HTTP-запросами эмулируют действия пользователей.
5. Приемо-сдаточное (ограниченный набор функциональных и возвратных тестов).
6. Возвратное.

У нас достаточно тяжелое веб-приложение b2c и мы используем следующий цикл разработки/тестирования. Каждая группа разработчиков создает свою ветку на выделенном им сервере (виртуальном), после этого подсистема передается на тестовый сервер где и происходит первый цикл интеграционного и проходит функциональное тестирование с включенными отладочными механизмами. После успешного тестирования на тестовом сервере, подсистема устанавливается на копии производстенного (предпроизводственный), в момент установки проходит второй цикл интеграционного тестирования. На предпроизводственном делаем системное тестирование и отправляем уже на производственный где и делаем приемо-сдаточное тестирование.

Возвратное тестирование используем для проверки работоспособности стабильных подсистем при установке патчей и время от времени для контроля работы приложения.

Тестирование требований и юзабилити пока не формализовано и заключается в том, что тест-менеджер и тест-аналитик участвуют в разработке функциональных спецификаций.

В чем принципиальное отличие от тестирования обычных  Windows-приложений?

Это зависит от архитектуры приложения, если используется база даных и сервер приложения, то надо, порой, контролировать, какие данные и как передаются в обе стороны. Конечно, специфику вносит веб-интерфейс.

Но самое, главное, для нас это оказалось ахилесовой пятой, нагрузка, нагрузка и еще раз нагрузка. А здесь уже без автоматизации не обойтись.

С различными браузерами и их версиями, моё личное мнение и опыт, заморачиваться особо не стоит. В книжках конечно пишут, что надо проверить на совместимость со всем, что только есть, но все зависит от конкретной ситуации. Например, в нашем проекте статистика заходов показывает, что больше 90% клиентов используют IE 5.5 и выше. И когда в службу поддержки обращается клиет с жалобой, что у него не работает на нашем сайте SSL в IE 5.0, а такой бывает раз в месяц и даже реже. То мне выгоднее дать команду службе поддержки отправлять клиента за обновлением браузера. Чем менеджеру проекта на несколько дней кидать группу разработчиков на оптимизацию своего кода и обход косяков Микрософта.

Можно ли протестировать, скажем,  систему показа баннеров (advertiser-publisher) при отсутствии средств автоматического тестирования?

Можно, а может быть и нет :-) Все зависит, опять же, от объемов и сроков и, то как эта система реализована.

[X-Ray]

Ребятки, все огромное спасибо!
Даже не ожидала получить такие подробные ответы.

Только вот я сама со следующей недели начинаю работать в другой фирме :)

[Case]

А там не прийдётся решать такие-же проблемы? ;)

[Dmitry_NJ]

Только вот я сама со следующей недели начинаю работать в другой фирме :)

"Не вынесла душа поэта..." © :D

[X-Ray]

2 Case:
Конечно, только там (Amdocs) уже все методики давно разработаны и я буду учиться на месте.