Сообщений в теме: 17

[ury0005]

Здравствуйте, уважаемые автоматчики.
Помогите, пожалуйста, есть желание выполнить автоматически проверку совместимости тестируемого Web приложения с различными браузерами. Как и с помощью какой тулзовины это можно сделать?
Как?:
1. Тестировать html трафик по каким-то хитрым признакам, которые указывают на несовместимость с каким-либо браузером.
2. Ломиться через браузер, эмулируя пользователя копошащегося мышью и клавиатурой (отсюда вытекает второй вопрос).
Каким тулзом?:
1. Какой инструмент может одновременно работать с IE, Opera, Mozilla & Firebird?
Или все же придется тестировать совместимость ручками?

[dlg99]

1. Какой инструмент может одновременно работать с IE, Opera, Mozilla & Firebird?
Или все же придется тестировать совместимость ручками?

Selenium работает под IE.Win, Firefox Win/Mac/Linux, Mozilla Win/Mac/Linux, Safari. может, и под Opera.

Поможет найти вещи полностью неработающие под одним из браузеров.
Не поможет найти проблемы в UI (different look under different browsers etc.)

[Dimon]

Я лично не слышал, чтобы удавалось полностью автоматизировать web-site configuration testing.

Вы написали, что хотите, но не написали цели.
Но как правило раз уж приложение базируется на сайте.

То кроме всего прочего учтите следующее.
Что кроме Windows-Browser есть еще и другие броузеры (FireFox чем и хорошо, что портирован на множество OS), Linux, MacOS, BSD etc.

И кроме того, если сайт не проффесиональный, а носит широкое назначение нужно еще учесть проверку на PDA- и Mobile-browsers.

Поэтому если учесть время которое вы потратите на попытки автоматизировать будет покрыта достаточно малач часть, чтобы говорить об оправданности потраченных сил. Хотя если цель стоит проверить под конкретные броузеры, и такая задача не одна, то возможно игра стоит свечь.

Поэтому проверьте сначала все остальное, возможно что-то будет сложно из Usability (см. атач), и только потом приступайте к Configuration Testing.
(чек лист возможно не слишком полон и детализирован, но он в разработке )
К моменту приступления Вам останется не так много проверок, т.к. функциональность со стороны сервера, по больше части (кроме привязки под Browsers и IP) будет уже сделана.

Прикрепленные файлы

•  WebTesting.gif   162,63К   352 Количество загрузок:

[DLK]

Selenium работает под IE.Win, Firefox Win/Mac/Linux, Mozilla Win/Mac/Linux, Safari. может, и под Opera.

Поможет найти вещи полностью неработающие под одним из браузеров.
Не поможет найти проблемы в UI (different look under different browsers etc.)

А с фреймами он может работать?

У меня стоит задача - найти подходящий инструмент для тестирования совместимости в броузерах (и последующего регрессионного тестирования на сохраненных тестах) системы интерфейса с БД.

Несколько фреймов. Статические и динамические страницы. Широко используется динамическая подгрузка данных на javascript.
(Вообще очень много логики реализовано через javascript, чтобы сократить объем запросов к БД).

Сможет selenium эффективно работать с таким материалом или стоит поискать что-то более навороченное?

[dlg99]

А с фреймами он может работать?

.....

Несколько фреймов. Статические и динамические страницы. Широко используется динамическая подгрузка данных на javascript.
(Вообще очень много логики реализовано через javascript, чтобы сократить объем запросов к БД).

Сможет selenium эффективно работать с таким материалом или стоит поискать что-то более навороченное?

с фреймами есть какие-то проблемы.
в selenium mailing list "пролетали" патчи для каких-то случаев.

Возможно, для ряда тестов будет Ok тестировать содержимое одного фрейма - загрузить только его в браузер (по direct url) и все.

"динамическая подгрузка данных" - это что-то типа AJAX?
да, может. Там есть что-то типа waitForValue чтобы дождаться завершения async calls.

Вообще-то selenium - open source. Можно дописать то, чего не хватает.
Мне очень немного пришлось дописывать/править.

будет ли он для _Вас_ эффективным решением? это можете сказать только Вы.
Потратьте несколько дней на pilot project.

Я уже как-то писал о моем опыте использования selenium.

[Green]

Проблема действительно очень интересная. По мере того, как IE будет терять свою долю рынка (а он обязательно ее будет терять), ее актуальность будет расти.

К сожалению, задача не поддается автоматизации. Причина кроется в в сути проблема. Один и тот же HTML код интерпритируется разными браузерами не однозначно.

Возможное решение, это создать некий тул по проверке HTML кода, который бы точно знал, как именно отображается та или иная конструкция в разных браузерах. Уже существуют книги, которые описываю приемы программирования для разных браузеров, но тулов по проверке кода на совместимость с различными браузерами я пока не встречал.

Выходом может быть только визуальная проверка веб страниц человеком. Вот здесь возможна некоторая автоматизация для облегчения работы тестировщика. Напишите тул или скрипт, который открывает заданные (контрольные) страницы интернет ресурса в разных брайзерах и делает снимки этих страниц. Затем просмотрите снимки и сделайте выводы, какие именно страницы отображаются не правильно и что на них следует поправить.

[DLK]

с фреймами есть какие-то проблемы.
в selenium mailing list "пролетали" патчи для каких-то случаев.

Возможно, для ряда тестов будет Ok тестировать содержимое одного фрейма - загрузить только его в браузер (по direct url) и все.

"динамическая подгрузка данных" - это что-то типа AJAX?
да, может. Там есть что-то типа waitForValue чтобы дождаться завершения async calls.

Вообще-то selenium - open source. Можно дописать то, чего не хватает.
Мне очень немного пришлось дописывать/править.

будет ли он для _Вас_ эффективным решением? это можете сказать только Вы.
Потратьте несколько дней на pilot project.

Я уже как-то писал о моем опыте использования selenium.

Спасибо, почитаю.

Пока у меня просвета нет - все еще хуже, чем казалось ;-)
Вместо нормальных фреймов будет iframe, широкое использование деревьев на javascript, как минимум один внешний activex и т.д. и т.п.

Не знаю, насколько это похоже на AJAX, не работал с ним. У нас все свое (насколько мне кажется, хотя разработчики могут и скопипастить что-нибудь, они такие..)

Больше всего настораживает навороченность самих скриптов.
Пока только придумал требование от тестирования к разработчикам - использовать систему уникальных идентификаторов для объектов форм. Заодно и им ссылаться на элементы будет проще и мне скрипты писать.

Но боюсь это не панацея. Насколько надежно selenium отрабатывает видимось/невидимость объектов, реальзованную скриптами? Точно так же как броузер или с вариантами?

И по деревьям "ходить" придется. Там же не ссылки...



PS: В общем - как бы не пришлось уходить на гуевые скрипты с контролем по битмапам. Но тогда о полноценном тестировании можно забыть. Максимум на регрессию натаскать получится :(

[DLK]

Немного прокомментирую из другой ветки:

Я пошел другим путем   
Я пишу testFixtures на JavaScript-е, из которых потом генерируется html с selenium-овскими коммандами. 

В итоге я имею: GUI Map, ~application model, ability to reuse code (selenium lacks this  ).

Можно чуть подробнее раскрыть технологию?

Пока из всего (бесплатного или условно бесплатного), что я нашел, Selenium - самый применимый, учитывая его открытость. Надеюсь что его удастся использовать.

[Dimon]

Проблема действительно очень интересная. По мере того, как IE будет терять свою долю рынка (а он обязательно ее будет терять), ее актуальность будет расти.

К сожалению, задача не поддается автоматизации. Причина кроется в в сути проблема. Один и тот же HTML код интерпритируется разными браузерами не однозначно.

Возможное решение, это создать некий тул по проверке HTML кода, который бы точно знал, как именно отображается та или иная конструкция в разных браузерах. Уже существуют книги, которые описываю приемы программирования для разных браузеров, но тулов по проверке кода на совместимость с различными браузерами я пока не встречал.

Выходом может быть только визуальная проверка веб страниц человеком. Вот здесь возможна некоторая автоматизация для облегчения работы тестировщика. Напишите тул или скрипт, который открывает заданные (контрольные) страницы интернет ресурса в разных брайзерах и делает снимки этих страниц. Затем просмотрите снимки и сделайте выводы, какие именно страницы отображаются не правильно и что на них следует поправить.

Автоматизация выглядит хорошо, но вот ресурс evolt.org, увы платный который решает данную проблему.
Его стоимость, насколько мне расказывали (увы информация не из первых уст), обуславливается достаточно дорогим архитектурным решением.
Которое заключается в следующем:
1. Клиент делает запрос, со страничкой, скриншот которой он хотел бы видеть*, на определенном броузере.
2. Сервер обрабатывает сообщение, и посылает его нужному _устройству_, на котором установлен thin client для работы с броузером и снятия экрана.
3. Клиенты высылается ответ, со скриншотом под выбранный броузер.
* по идее странички должны выбираться, с различным layout, и используемыми технологиями (flash, Java applet, ActiveX) именно для этого и задумывалась данная услуга, т.к. пропустить несоколько раз сайт через все броузеры, может оказаться неоправданно дорого.

Именно из-за того что требуется поддержка реальных устройств, а эмуляция не цель проверки. И обусловливается выбор данного варианта.

Поэтому если даже нужно делать такую автоматизацию, то в сеть нужно ставить Mac(MacOS), IBM compatible(Window, Linux, BSD), Solaris, Symbian, etc. Все равно получается довольно таки дорого, если еще и учесть что под каждой ОС может быть и не один броузер.

1. Из-за такого разнообразия создатели данной услуги, и отказались от написания "универсального тулза.
2. И мое личное мнение, что консорциум W3.org и призван облегчить данную несовместимость броузеров.

1. Какой инструмент может одновременно работать с IE, Opera, Mozilla & Firebird?

Если исходить из первого поста, то указанные броузеры имеют массу вариантов под другие платформы.
На мой взгляд Opera наиболее портированный броузер, под самые разные ОС. И даже такой гигант как Microsoft создал вариант своего броузер под MacOS.

Я к сожалению не смотрел еще продукт - селениум. Т.к. мне не ясны окончательные требования косательно броузеров. Можно потратить достаточно много времени на автоматизацию 5-10 броузеров, а оставщиеся 40, все равно делать ручками.

Мой совет:
1. Попытайтесь провести валидацию сайта на W3.org для html и css.
2. Проверьте, как каждый из броузеров интерпретирует ActiveX, JavaScript, Frames, etc.
3. Выберите наиболее нетипичные странички, для регрессионного тестирования в процессе выполнения конфигурационных тестов. (закрученная фраза получилась )
4. И на релизе проведите тщательную проверку на приоритетных броузерах.

[Dimon]

Извините забыл...

Я не делаю рекламу продукту, т.к. я никак в нем не заинтересован, и не все проверки в нем возможны.

Приведу пример...
Так сложилось, что я сейчас работаю под Linux, а раньше под Window. Какого же было мое удивление, когда я заметил, что множество сайтов просто затачивается под IE. :(
Самый простой пример - когда я недоволен работой FireFox (который считается наиболее соответствующий стандартам), это сайты со сложным меню на джаваскрипте, такие как, наводим, а там раскрывается еще пункты.

Я думаю, что это сайт, тестировщиков и QA, поэтому приведу пример, на который я недавно и почти случайно наткнулся.
http://www.i-shop.com.ua/
Например в нем "каталог таваров", _при наведении_ на "красота и здоровье" появляются пункты вложенного меню, а-ля Pop-up. Так вот под FireFox 1.0.6 данное pop-up меню не появляется. Хорошо, что это никак несказывается на доступной функциональности. Но задуманный уровень юзабилити - "one click" совсем не "one".
Вот такую проверку, работая только с урл, увы, провести будет нельзя.

Хочется отметить, что даже этот форум , который я проглядываю, но увы редко пишу, иногда не отображается корректно у меня в FireFox когда должны отображаться вложенные цитаты.

[DLK]

Подниму тему..

Селениум, при всех своих плюсах, (увы!) не умеет работать с iframe. Вообще. У них на сайте это требование в "пожеланиях пользователей" уже полгода лежит :(

Пока пробую разобраться с Rational Robot, но он мне интуитивно не нравится. Такая "нелюбовь с первого взгляда".


Есть ли еще какие-нибудь средства, умеющие работать с iframe, и при этом допускающие возможность прогонять скрипты (без доработок или с небольшими доработками) на разных браузерах?

[Dmitry_NJ]

Есть ли еще какие-нибудь средства, умеющие работать с iframe, и при этом допускающие возможность прогонять скрипты (без доработок или с небольшими доработками) на разных браузерах?

QTP не пробовали?

[DLK]

Есть ли еще какие-нибудь средства, умеющие работать с iframe, и при этом допускающие возможность прогонять скрипты (без доработок или с небольшими доработками) на разных браузерах?

QTP не пробовали?

Нет еще, не пробовал. Триальная версия есть, на каких условиях?

[Dmitry_NJ]

QTP не пробовали?

Нет еще, не пробовал. Триальная версия есть, на каких условиях?

http://downloads.mercury.com

[Mike]

QTP, я чувствую, всё равно не пройдёт - он умеет работать, скажем так, с не слишком большим количеством браузеров (что, в прочем, не удивительно - только IE предоставляет свой DOM всем желающим, впрочем QTP поддерживает ещё Netscape и AOL).

А наезд на Mercury вполне беспочвенный. Описанный Вами баг не воспроизводится (под IE 6, at least). А связаться с Mercury можно и без посредников. Что до цен, то их знают партнёры (на форуме порядок цен тоже пролетал). Ну и спросить можно у вендора, в конце концов.

[Dmitry_NJ]

Какие могут быть программы для QA на сайте с кучей багов? 

Примеры кучи можно в студию или это ради красного словца?

For example, try (IE6, FF1.5WIN, probably any other):
1. Top menu: click Products -> Quality Center
2. Right menu: click Software Trial
3. Search results table: click any "More Info" link -> get page opened in new window with horizontal scrolling (BUG) and all menus (BUG)

У меня IE6. Открывается обычное окно. Не на весь экран, поэтому есть и вертикальный и горизонтальный скроллинг. В чем баг то?

И самое главное: как можно что-то "пробовать", если не знаешь, что тебя ожидает, если понравится?

Если есть сомнения, что у вас недостаточно материальных ресурсов, то никто не мешает вам для начала пообщаться с продавцами и узнать у них уровень цен на интересующие вас продукты в интересующей вас конфигурации в вашем регионе.

другими словами: где цены?

Цены можно узнать у Mercury sales reps, либо у местных дистрибьюторов.

хотя-бы примерные или рекомендованые?

Цены в каждом регионе свои. На корпоративном сайте никаких цен никогда не было и нет.

С помощью "Buy -> Find a Partner" прошёлся по всем российским партнёрам - ни один из них не предлагает приобрести QTP. В лучшем случае они сами занимаются тестированием.)

Это вы гоните. Не знаю точное количество наших дистрибьюторов в России на данный момент, но мой знакомый, работающий в Москве в одной из таких контор, лично занимается продажами продуктов Mercury в России.

[OldYew]

Можете попробовать eTester из eTest Suite от Empirix...
http://empirix.com/d...=category&ID=41