Сообщений в теме: 20

[Case]

Есть рекомендации Майкрософта и других компаний по построению тестовой лаборатории.
К примеру: Building a Windows 2000 Test Lab или Building a Corporate Testing Lab.
Интересует насколько коллеги придерживаются традиций и рекомендаций в области построения тестовой лаборатории и как обстоят дела в этом направлении.

[Case]

А при чём тут соответствие тестовой среды к эксплуатационной?
Вроде обратного никто и не утверждал.

Вопрос был о построении тестовой лаборатории.

[Case]

Дык и скопируйте! В чем вопрос - то?

Интересует насколько коллеги придерживаются традиций и рекомендаций в области построения тестовой лаборатории и как обстоят дела в этом направлении.

Странная дисскуссия - вам сложно прочесть первое сообщение темы?

[AlexAT]

исходя из своего опыта - слабо придерживаются.

в реале и то, что написано на бумаге - две большие разницы.

очень тяжело это реализовать - причём на разных уровнях.

[Олешка]

в реале и то, что написано на бумаге - две большие разницы.

Хм.. а в чем проблема? Почему такая разница?

[Case]

Присоединюсь к Олешке.
Какие именно пункты рекомендаций построения тестовых лабораторий трудно выполнимы?
Насколько понимаю вопросы технические, если не просто административные.

[AlexAT]

Вопросы разные - технические, административные, организационнные.

Всё решаемо и реализуемо на небольших проектах.

Серьёзные проекты требуют серьёзной testing lab.

Кто-нибудь может похвастаться такой реализацией ?

Я частично могу, у нас есть её немножко :)
Я участвую в её поддержке и вижу, что до идеальной testing lab ещё ой как далеко.

Собственно, она решает поставленные цели, достаточно успешно - она для этого и создавалась.

Но вот того - идеального для QA - состояния нет.

И не будет, надо ли объяснять почему ? :)

[Case]

Обширно ответили, обширно :)
Давайте более предметно:
У нас тестирование построение с активным использованием виртуальных машин. Есть сервер этих самых машин. Все тесты прогоняются только на тестовых окружениях. Я вот примерно так понимаю обсуждение.

А у вас как построен тест лаб? Каковы его размеры в единицах машин, охват типов ОСек?

[AlexAT]

Стоп.

Все тесты, конечно, прогоняются на тестовых машинах.
Обычный процесс - кодинг, дебаггинг у девелопера, тестинг у QA.

Тест-лаб - это дело, но ведь не под всякий проект его соорудишь - вот я о чём.
К примеру, WEB проект (web-сервер, application-сервер, DB-сервер - три машины).

Функциональное тестирование происходит с рабочей станции QA.
Что тут назвать Test Lab'ом - я не вижу кандидатур - ни рабочая среда, ни тестинг-станция не подходят.
Хотя, может быть, вкупе и можно это всё назвать гордо Test Lab.

Сама рабочая станция QA - это уже отдельный разговор, что туда входит.
К слову - туда входят **все** ОС (все имеющиеся в наличии, те, которые не имеются - дополняются по мере надобности - как минимум это все ОС Windows).
Есть специальный репозиторий, где QA получает всё, что ему нужно, как-то - определённую ОС, опеределённую версию браузера, некоторые распространённые конфигурации, утилиты для автоматического тестирования и пр. и пр.

Т.е. если Вы говорите о Test Lab как о какой-то совокупности средств и объектов тестирования - то мы друг друга понимаем :)

Другое дело - что не всегда это возможно построить.
В реале - на приведённом примере - все три сервера могут жить на одной машине, что плохо влияет на результаты лоад и стресс тестинга.
Что ещё - у самого QA может быть недостаточно мощная для данного проекта конфигурация - это решается выделением отдельного сервера под эти нужды и использованием виртальных машин прямо с него.

Кстати, вопрос - проходила ли у Вас оценка эффективности применения сервера выделенных машин?
Насколько эффективней получается против стандартного подхода?
Почему спрашиваю - у нас такой подход не прижился.
Интересно послушать у кого прижился - впечатления.

[Case]

AlexAT, для начала давайте снова определимся с терминологией. Вы очень лихо оперируете термином QA, и насколько я понимаю подразумеваете под этим просто тестировщика, а не КьюЭйя.
У нас на эту тему уже на форуме были обширные дискуссии. И все сошлись на одном QA <> tester!

Теперь по поводу тестовой лаборатории.
Я не понимаю под тест лабом отдельно стоящее здание под воздухонепроницаемым колпаком.

Под тестовой лабораторией для конкретного проекта я понимаю совокупность апаратных и програмных средств в пределах которых проводится тестирование. Для клиент-сервера это и отдельный сервер и отдельные клиенты.

То есть если мы тестируем веб приложение, то это будет не одна машина (реальная или виртуальная - не суть) с прикрученными к ним 5-ю браузерами, а 5 окружений, которые имитуруют рабочее место пользователя нашей системы.
Сервер приложения, если его разрабатываем мы и используем в качестве сервера веб-сервер, также есть частью тест лаба.
То есть тест лабом будет совокупность: сервер + окружения клиентов.

Понятие рабочая станция тестировщика (а не QA !) мной в принципе как часть тестовой лаборатории не рассматривается, равно как и оборудование офиса, марка стола и кресла в котором сидит тестер.

При стресс и лодинг тестировании особенно важно построить тест лаб, а не гонять в качестве сервера одну из рабочих станций (кто даст горантию что на зеркалированной файловой системе это всё тоже будет работать?)

Оценку эффективности использования сервера виртуальных машин мы не проводили. Судя по тому, чо он постоянно загружен более чем на 80% он используется очень активно.
Какой стандартный подход вы имеете в виду как альтернативу использования виртуальных окружений? Ставить реальный набор на живых машинках? У меня не получится точно -- сейчас в загашнике собранных эталонных систем на сервере виртуальных машин таких окружений более 40. Такой парк мне не выдадут.

А какой подход прижился у Вас? И какие трудности были с виртуалками?
Просто не так давно Сервер пополнился разделом по продуктам vmware и я лишний раз убедился в лестных отзывах о продуктах этой конкретно конторы и подхода в целом.

[AlexAT]

Под QA я понимал именно QA person, а не QA Manager, QA Leader, QC и т.п.
Градаций много, можно придумать и свои, как я выяснил с того топика, какой Вы мне порекомендовали :)

Главное - мы поняли друг друга, а как это называется в разных компаниях - это не изменить ни мне не Вам, да и нет желания.

Теперь к тест лабу - у меня такое чувство, что Вы меня не поняли.

Я имел ввиду следующее: Вы сказали, что у Вас используется серверный вариант VMWare.
Вот именно Вашу субъективную оценку разницы в эффективности между использованием VMware GSX Server и VMWare Workstation я и хотел от Вас услышать.
Не процентную загрузку - это ни о чём не говорит.
Другими словами - была ли оправданной покупка лицензии на VMware GSX Server и почему.
Могу предположить, что ответ может быть не для форума, можно ответить в личку - вопрос действительно интересует.

Никто не спорит, что VMWare - это хорошо и никто в здравом уме не будет устанавливать 40 отдельных машин для того, с чем прекрасно справляется VMWare.

Думаю, много Ваших вопросов, из верхних, уже отпали.
Если не все, то уточните плз, буду стараться отвечать.

[Case]

Вот именно Вашу субъективную оценку разницы в эффективности между использованием VMware GSX Server и VMWare Workstation я и хотел от Вас услышать.

А! Я вас действительно не так понял. :)

Объяснюсь.
Из преимуществ сервера:
Сейчас на сервере виртуальных машин помимо самих тестовых окружений, которые могли запросто крутится на рабочих станциях, работают машины которые строят билды, держат сервер СтарТима, Реквизита. Машины должны быть в постоянном доступе, а использование в качестве их носителей именно отдельных виртуальных окружений во многом повышает гибкость работы с ними.

Из преимуществ рабочей станции:
Единственный вариант, когда в моей практике сознательно отказались от сервера и перешли на работу с окружениями под управлением рабочих станцих vmware, был случай, когда нагрузка на сервер виртуальных машин стала очень серьёзной, а в силу специфики разработки скорость отдельных этапов построения системы критично зависела (на порядки) от ресурсов машины.

[Green]

Скажите, приходилось ли сталкиваться с тем, что VMWare ведет себя отлично от аналогичной операционной системы? Были ли баги, которые воспроизводились на VMWare и не повторялись на ОС (и на оборот)?

[Case]

vmWare вела себя отлично от операционки когда на 9х системы пытались прикручивать внешние устройства - принтеры, сканеры. ПРоблемы были с установкой как таковой. Дрова и так далее.

Отличного поведения, чтодо багов насколько я понимаю в принципе быть не может. Окружение собранное на виртуальной машине может отличаться от аналогичного навскидку только hardware allocation level (если к примеру на сервере виртуалок стоит нечто многопроцессорное и мы сказали каким-либо образом, чтобы данная виртуалка юзала более одного проца -- я таким не занимался и даже не могу сказать возможно ли такое на практике). В остльном проблем быть не может. Набор компонентов системы при установке из одного и того же дистрибутива, как вы понимаете будет совпадать с точностью до версии dll-ок.

[AlexAT]

Дожился...
QA person говорит, что "багов быть не может в принципе" :)

Да, были замечены некоторые различия в работе (сперва относились несколько критично к продукту), но затем выяснилось, что они либо надуманные либо экзотические (как описал Case).
И с тех пор я про различия могу сказать только одно - о них не слышал.

Кстати, среди плюсов самой VMWare есть ещё такой - образ ОС вполне переносим на любую другую машину (с абсолютно другой конфигурацией железа) - достаточно иметь на ней VMWare соответствующей версии. Просто сархивировал каталог и получил себе образ, скажем, WinXPPro, его впоследствии можно использовать на любой другой машине без дополнительной и неочевидно как сработающей подгонки конфигурации.


Case, к вопросу об эффективности:
Неужели структуру "машины которые строят билды, держат сервер СтарТима, Реквизита" невозможно было построить без VMWare GSX Server?
Думается, это спокойно можно было "посадить" на одну машину с WinXP без какой-либо проблемы в нагрузке.
Да даже на две, три.
По текущим ценам можно было бы купить $3025/$400 = 7.5 хороших серверов, которые позволили бы сделать намного больше того, что позволит GSX Server. Это я не учитывал саму машину для GSX Server - для неё требования отнюдь немаленькие.

Вопрос с зашаркой тестовых окружений также достаточно спорный.
Не знаю как у Вас, но у нас тестовые окружения очень быстро перестают быть таковыми и при количестве ими пользующихся человек более 3-х это становится очень трудно отслеживать и контролировать их чистоту (кому что нужно, кому что не нужно) - даже если они работают над одним проектом и используют одни и те же средства.
Человеческий фактор, однако :)
А за QA нужды я молчу вообще - я никогда бы не стал использовать зашаренную ОС, в которой непонятно что было установлено - всегда только чистый образ.

В то же время VMware Workstation стоит всего $299.
Банк ОС создаётся, время на его создание тратится только один раз.
Если нужно создать образ под конкретный проект, то это также делается один раз на проект.
Машины девелоперов, QA вполне могут выдержать VMware Workstation для кодинга и отладки.

Может быть и нужно где-то GSX Server использовать, но я пока не встретил ситуации, чтобы это было эффективно оправданно.
Потому и спросил...

[Case]

По пунктам:
Я не сказал что багов не может быть в принципе, я сказал что отличного поведения относительно проявления или непроявления багов быть не может в принципе - не передёргивайте мои слова.
Если дистриб из которого поставлена машина одни - то бага либо будет либо не будет одновременно и на реальном окружении и на виртуальном.

Относительно структур машин на которых крутится разработка и обслуживающие компоненты:
Можно и слона научить на барабане играть - только зачем? Зачем мне головная боль от 5-6 машин? Прошу отметить что в их стоимость также нужно включить RAID массивы дисков (зеркалирование и прочие варианты обеспечения сохранности данных) и источники бесперебойного питания. А это уже по цене далече за стоимостью одного мощного сервера с хорошим массивом и ИБП-шником. Сравните если угодно стоимотсть.

Далее - ставим на 6 машин 6 мониторов или один и приблуду для щелканья как на серверах? Если 6 моников - нужен стенд, на 6 моников, 6 клав, мышек. Если один и приблуда для переключения - она очень недешева - очень!

$3025/$400 = 7.5

То есть хороший сервер это 400 баксов? Угу... Дето так - "сэм восэм" :)

Далее (обильная пища для цитирования однако в вашем сообщении):

у нас тестовые окружения очень быстро перестают быть таковыми и при количестве ими пользующихся человек более 3-х это становится очень трудно отслеживать и контролировать их чистоту

Глупейшее скажу Вам занятие отслеживать частоту тестовых окружений. Прогнали серию тестов, во время построения билда восстановили простым копированием окружение. Кстаи пока писал пришла идея воткнуть небольший скриптик который тушит округи и переписывает из эталонов чистые в сам скрипт построения билда - а это ИДЕЯ!

Банк ОС создаётся, время на его создание тратится только один раз.
Если нужно создать образ под конкретный проект, то это также делается один раз на проект.

Аналогично к банку ОС (ваш термин) для сервера ВМ-ок. Не понял при чём тут это.
Образ под конкретный проект понятие мне непонятное - у вас проект конкретно работает под одной конфигурацией? У меня таких окружений на данный момент штук 12. Или я Вас просто опять ничего не понял.

Машины девелоперов, QA вполне могут выдержать VMware Workstation для кодинга и отладки.

Ничего не понял. Какой кодинг и отладка на машине тестера? Называйте в конце концов вещи своими именами - очень сложно переводить на понятный язык.

[mdmax]

to Case

и приблуда для переключения - она очень недешева - очень!

такая приблуда стоит 300 долларов вроде как, смотря с чем сравнивать "очень недешево"

так я из полемики и не понял, чем обоснована необходимость использовать GSX Server в отличии от Workstation, раельные 7.5 машин в расчет не берем ;) .

[Case]

Разница в клиентском и серверном решении не очевидна?
Простая задача - обеспечить доступ к одному и тому же окружению поочерёдно тестера-девелопера-тестера?
То есть случай для простой цепочки, когда на тестовое окружение устанавливается тестерами и приложение на него также выносится тестером приложение или его часть. То есть тестер на определённом окружении нашёл / поломал / указал как воспроизвести (или скрипт написал, который воспроизводит) и передал управление окружением девелоперу. Тот в свою очередь воспроизвёл / починил - передал тестеру на проверку. Это тот вариант когда не требуется промежуточных очисток окружений, конечно.

Да в принципе, мне не очень понятно, зачем нужно обьяснять чем клиент-серверное решение удобнее просто клиентского :)