Различия в работе тестов на разных конфигурациях

(Если вам некогда читать подробности - я выделил вопросы, на которые ищу ответ.)

Предположим, что имеется задача прогнать Selenium-тесты на как можно большом числе конфигураций тестовой системы.

Под конфигурацией я имею в виду набор следующих параметров:
браузер: например, Firefox, IE, Opera
версия браузера: например, Firefox 3.6.13, IE 8, Opera 11.01
ОС: например, Windows XP, Windows 7, CentOS, Ubuntu
версия ОС: например, Windows XP SP3, CentOS 5.3, Windows 7 SP1

Примеры конфигураций:
Firefox 3.6.13 на CentOS 5.3
IE 8 на Windows XP SP3
IE 8 на Windows XP SP1

Интересен вопрос, какие комбинации этих параметров могут, хотя бы теоретически, дать результат, сколько-нибудь отличающийся от других.
Под результатом я понимаю:
1) результат выполнения тестов сам по себе
2) гораздо меньше, но интересует и разница в отображении страниц

Рассмотрим параметры по порядку.

Браузер - безусловно, в каждом из браузеров мы получим свой результат. Т.е. на данный момент имеем набор IE, FF, Chrome, Opera, Safari.

Версия браузера - безусловно, она тоже ощутимо скажется на результате. Ищем статистику, и смотрим, какие версии браузеров ещё используются.

Операционная система - вот тут начинаются вопросы, на которые я ищу ответы.
Есть ли разница (функциональная в первую очередь и в отображении страниц - во вторую):
- между Firefox 3.6, работащим на Windows, и той же версией FF, работающей на Linux?
- между Firefox 3.6, работающим на Windows XP, и им же, работающим на Windows 7?
Знаете ли вы что-то о таких различиях?

Версия ОС - казалось бы, этот параметр точно можно исключить. Но вот пример большой важности версии ОС:

"Интересно, что обновленный браузер Safari неадекватно работает на разных компьютерах. Напомним, что он требует Mac OS X 10.5.8 для запуска на Leopard и Mac OS X 10.6.2 для запуска на Snow Leopard. Однако среди жалобщиков есть, например, владельцы 20" iMac Aluminum, 2.4 ГГц под управлением Mac OS X 10.5.2, а это уже старая версия, которая может быть виновна в крахе браузера, но есть и те, кто честно поставил обновленный Safari на Mac OS X 10.6.3 и при этом ощущает те же самые проблемы."

Пусть и не очень показательный, этот пример заставляет тоже задаться вопросом:
Сталкивались ли вы с различиями в работе браузеров, которые зависели, скажем, от установленного SP? Имеет ли смысл включить в набор конфигураций разные версии ОС, или достаточно просто использовать самую последнюю/популярную на данный момент версию? Может ли теоретически отличаться хотя бы внешний вид страницы в одном и том же браузере в, например, Windows XP SP1 от Windows XP SP3?


Я понимаю, что действительно востребованы при тестировании только несколько конфигураций (комбинаций браузер+версия).
Но, тем не менее, заданные вопросы меня очень интересуют, и я буду благодарен, если вы мне поможете найти на них ответы, хотя бы проголосовав.

мы считаем, что плагинов у браузеров нет, настройки на 100% совпадают, а на системе (WinXP SP1/SP3) установлен одинаковый набор софта?
потому как какой-нибудь антивирус, файрвол и т.п. могут сильно повлиять на отображение страницы.
Один и тот же браузер под Linux и Windows может дать совершенно разные результаты. Флэша нет, шрифтов нет - отображение совсем другое.

Один и тот же браузер под Linux и Windows может дать совершенно разные результаты.

А если не считать визуального отображения (шрифтов), флеш вообще в топку, то на мой взгляд в работе того же FF на разных платформах различий быть не может, более того, это подтверждается на практике, за несколько лет использования селениума для тестирования web-интерфейсов не было ни одного случая что бы бага была например в Windows но ее не было в Linux, в той же самой версии FF.

Что касается IE, бывало что даже различные номера сборок (это такой длинное шестизначное число в конце версии) давали совершенно разные результаты на одной и той же ОС.

мы считаем, что плагинов у браузеров нет, настройки на 100% совпадают, а на системе (WinXP SP1/SP3) установлен одинаковый набор софта?

Да, именно так - всё, что может быть одинаковым (настройки, плагины, установленное ПО и т.п.), считаем одинаковым.
Спасибо за существенное уточнение.

Флэша нет, шрифтов нет - отображение совсем другое.

Да, отображение, думаю, будет точно отличаться.
А вот может ли отличаться функциональность (особенно с точки зрения Selenium)?
Может быть, например, локатор, работающий на винде, и не работающий в линуксе? Другое поведение JS, которое приведёт к ошибкам тольео на одной из систем?

Лично мне это кажется маловероятным, но у меня нет веских оснований так считать.

Лично мне это кажется маловероятным, но у меня нет веских оснований так считать.

Я тоже так считаю, практика это подтверждает, хотя 100% уверенности нет, поэтому тесты прогоняем как в винде так и в линуксе.

Я тоже так считаю, практика это подтверждает, хотя 100% уверенности нет, поэтому тесты прогоняем как в винде так и в линуксе.

Спасибо, именно такая информация меня интересует.

А какие версии браузеров используете? Самые свежие/стабильные, или какие-то старые тоже?

А какие версии браузеров используете? Самые свежие/стабильные, или какие-то старые тоже?

Те, что утверждает отдел Маркетинга :-) чаще всего это: FF 3.0/3.5/3.6, IE7/8

А какие версии браузеров используете? Самые свежие/стабильные, или какие-то старые тоже?

Те, что утверждает отдел Маркетинга :-) чаще всего это: FF 3.0/3.5/3.6, IE7/8

Как у вас там добры к разработчикам. У нас ещё тестирование идет и на IE 6 :)

А какие версии браузеров используете? Самые свежие/стабильные, или какие-то старые тоже?

Те, что утверждает отдел Маркетинга :-) чаще всего это: FF 3.0/3.5/3.6, IE7/8

Как у вас там добры к разработчикам. У нас ещё тестирование идет и на IE 6 :)

Просто это существенно сокращает сроки разработки.

Просто это существенно сокращает сроки разработки.

Всё верно, одно дело разработкой заниматься, другое дело - колдовать, что бы на древнем ослике заработало.
Однако с 5% посетителей портала в нашем случае приходится считаться.

P.S. Кстати, кто-нибудь тестирует на IE 9 и прочих бетта или всё-таки ждут появления вменяемой версии?

Просто это существенно сокращает сроки разработки.

Всё верно, одно дело разработкой заниматься, другое дело - колдовать, что бы на древнем ослике заработало.
Однако с 5% посетителей портала в нашем случае приходится считаться.

P.S. Кстати, кто-нибудь тестирует на IE 9 и прочих бетта или всё-таки ждут появления вменяемой версии?

Я занимаюсь тестирование Web-интерфейсов приложений Kaspersky Lab., поэтому мы можем себе позволить не брать во внимание эти 5%, а так же бэта версии браузеров.