Потому необходимо оборудование способное иммитировать работу мобильного телефона, естественно подключаемое к компьютеру на котором будет стоять программа контролирующая процесс тестирования, что-то на подобии BillingCheck. Например, прибор подключаемый через USB или COM, что-то типа GSM-модуля, вставляется в него SIM-карта, потом в программе выбирается сценарий тестирования и запускается тест. Прибор производит все необходимые операции, заданные в сценарии, в точной последовательности. И мы получаем результат, напрм., в виде Excel-файла. После этого программа производит сверку полученного результата с ожидаемым и выводит информацию о наличии или отсутствии ошибок.

Вы можете некоторые (я думаю, из современных - большинство) телефоны подключить к ПК по USB или BT и создать поверх этого соединения виртуальный COM-порт. По этому порту терминал управляется с помощью AT команд. ATDT - позвонить куда-нибудь или открыть GPRS-сессию, AT+CMGS - послать SMS. Для MMS тоже наверняка что-то есть.

А какие именно искать "различия в графиках"? Можете на примере пояснить?

Могу чисто теоретически: если статистический момент распределений времени обслуживания различается, то это значит, что и сами распределения
разные, что собственно и является причиной (не корневой) разницы моментов.

Например, первый график для одного пользователя может быть пологим, а для многих - крутым и начинаться ниже, или даже иметь что-то похожее на разрыв вдали от 100pct. Полагаю, кеширование на этом графике так и выглядит, хотя сам внимания на это никогда не обращал.

сетка (адаптивность к нагрузке, увеличение пропускной способности...)?

А так бывает вообще? :)

А по теме: ищите различия в графиках Transaction Response Time (Percentile) Graph или Average Transaction Response Time Graph [over Time] (в Analysis).

[up] to web technologies

Т.е. сверхдомен не будет? Все на кошках? ;)

Кстати, сегодня Всемирный день качества (надо полагать, в неинженерных отраслях - комм. напоминальщика).

Study Finds Working At Work Improves Productivity

Небольшой трибьют слешдоту:

In other news: quantity transfroms into quality.

И обязательное:

In Soviet Russia, work does you.

инженерные изыскания, направленные на то чтобы здания не разрушались, а самолёты не падали на глазах у удивлённой публики,

Для корректного выполнения данных изысканий нуже менеджмент качества (а QA это часть его)

Очень содержательное замечание, большое спасибо за фидбек.

Если Вы не заметили, в моём запросе содержался конкретный вопрос:
"Если такое есть, то может быть кто-то поделиться названиями основных процессов?"

Причём, по итогам обсуждения, хотелось бы, чтобы ответ был дополнен сведениями, которые позволили бы заключить, что данные процессы людям, которые производят продукт, недоступны, и обязательно должны быть поддержаны отдельными строками в бюджете, ставками для "профессионалов в области качества" и одобрением VIP-ов.

Для того, чтобы Вам было проще сформулировать свои мысли по этому вопросу, предлагаю модельную задачку: Space Station: Internal NASA Reports Explain Origins of June Computer Crisis. Приведите пожалуйста список процессов (названия), жизненно необходимых для предотвращения подобного по воздействию на систему инцидента в будущем.

Следует заметить, что в Java сборщик мусора работает по весьма хитрому алгоритму

Именно на этот случай там рядом с графиком обычно имеется кнопка, которая вызывает System.gc().
Более того, насколько я могу судить, сам этот вызов, System.gc(), был выведен в API в первую очередь в обеспечение отлова утечек на этапе модульного тестирования (что, кстати, позволяет их сразу и локализовать). Для нагрузочного найденные утечки памяти это всё-таки "попутный газ" - можно найти, а можно и не найти, об чём имеются яркие свидетельства.

Правда понятнее всё же не стало.

У них может быть, например, это: https://phobos.dev.java.net/. К проблемам нагрузочного тестирования это правда мало относится.

"0." Приложение написано на Javascript..

Действительно, загадочно. А какое расширение имеет пакет с приложением, когда его передают разработчики? Или, если это архив, то какие файлы там внутри?

Вопрос по JConsole: насколько просто и понятно с ней работать (ещё не знаю что это, но интересно)?

Мне кажется, достаточно просто и понятно.
Вот тут есть соответствующая случаю картинка: http://java.sun.com/...MemoryDetection

Почитал интернет, у JBoss 3 нет собственной административной консоли, только JMX интерфейс. Так что в Вашей конфигурации, действительно, наверное дешевле всего осваивать какой-нибудь try&buy профайлер времён используемой JRE.

По поводу количества пользователей: для того, чтобы определить утечку, в принципе, можно запуститься и одним пользователем. Потом, если не найдёте утечки - пятью. Потом прикините расход памяти сервером приложений и на одного активного пользователя, и посчитаете, сколько пользователей можно обслужить имея 512Мб.

А то клиент-сервер на Java script это звучит :)

В качестве очередного бесплатного восстановления справедливости: была такая технология, Microsoft Active Server Pages, в ней можно было использовать JavaScript для программирования на стороне сервера. По остальным буквам претензий не имею.

Если по делу.

1. Где смотреть конфиги про память, с которой стартует Tomcat?

В его стартап скрипте (том .bat файле, который надо нажать, чтобы он запустился) или настроечных xml, на которые он ссылается. Там, я полагаю, должны быть ключи -Xms , -Xmx, -server и т.п. Просто поищите файловым поиском в его директории эти буквосочетания.

2. Можно поподробнее насчёт нагрузочного тестирования под профайлером? Т.е. что это такое и как оно делается?

В данном случае, профайлер это софтина, которая будет показывать, сколько памяти в куче JVM занято, а сколько свободно. В принципе этого достаточно, чтобы понять, правда ли есть утечка памяти, или её просто не хватает, чтобы всех обслужить.

И остался без ответа вопрос по бесплатным-простым тулам по просмотру Memory Leak.

Вот я не специалист по JBoss, но по аналогии с другими продуктами думаю, у него в административной консоли можно смотреть занятость памяти и количество активных потоков, сделать принудительную сборку мусора. В первом приближении этого достаточно для Ваших целей.
В JDK начиная с 1.5 есть ещё бесплатный монитор JConsole, который делает всё то же самое на уровне JVM, вне зависимости от того, какой сервер приложений и приложения на ней выполняются. Для более ранних версий ничего такого же практичного в голову не приходит.

когда-то задавал к позиции Яндекса a66at

"Рукопись содержалась в старинной картонной папке для бумаг, завёрнутой в старинный же полиэтиленовый мешок."

BTW, astik говорил про пожарника, и тут, бац, разговор перешёл на продажника. Его и проштамповали.

...

На самом деле, являясь простым обывателем, не нуждающимся в устоявшейся терминологии в области тестирования, я считаю, что Nadya Kochetova защищала верную терминологию.

План это последовательность действий (возможно с параллельными ветками выполнения, возможно с проставленными датами). Диаграмма Ганта выражает план. Примером плана является «Дорожная карта» продвижения к постоянному урегулированию палестино-израильского конфликта в соответствии с принципом сосуществования двух государств на основе оценки выполнения сторонами своих обязательств. Переводчики этого документа (а вряд ли кто-то знает русский язык лучше переводчиков Объединённых Наций) ссылаются на него как на план.

Термин же "стратегия", вот уже лет пятьдесят как, часто употребляется в смысле, который в него вкладывает теория игр (см. Стратегия).
В применении к тест-менеджменту, стратегия - это дефиниция того, что надо делать (планировать) при наступлении тех или иных обстоятельств, вероятность которых заранее неизвестна. Стратегия отражает неопределённые аспекты планирования, которые на ту же диаграмму Ганта не ложатся. В этом смысле, приоритезация рисков - это способ определения стратегии. На русский язык термин переведён точно - стратегия не эквивалентна плану. Для проверки можно попытаться, например, мысленно назвать Стратегию развития металлургической промышленности Российской Федерации на период до 2015 года планом. :) Заодно можно обратить внимание на обилие количественных показателей и элементы неопределённости (впрочем, довольно слабо прописанные) в этом документе. Это именно то, что отличает её от плана.

Что же касается James Lyndsay, то он, видимо, просто забыл поставить в свою фразу оговорку under various circumstances, потому что она для него очевидна. Понятие стратегии - это просто часть его (и, возможно, его читателей) математической культуры.

Ну вообще-то, справедливости ради, есть ещё один вариант. Можно без всяких аналитиков взять, да и выяснить, почему же в данном конкретном случае полученные времена отклика/обработки не получились меньше или не могут быть уменьшены. Кроме оказываемого дидактического эффекта эта метода помогает выявить собственные недостатки тестирования, а также избавляет от неприятных моментов при коммуникации его результатов.

Я считаю, что это Вячеслав Панкратов и его авторский курс "Введение в нагрузочное тестирование"

Лидер становится победителем, если до 2007-08-08 20:00 msk никто из зарегистрированных участников не оспорит это решение.

Проштамповано.
Победителнм объявляется Вячеслав Панкратов и его авторский курс "Введение в нагрузочное тестирование"
Претензии по качеству проведения конкурса принимаются до 8 октября 2007 г. включительно.

Я, к сожалению, в ближайшую неделю нахожусь вдали от PowerPoint и не могу подсчитать некоторые из заказанных мной параметров (насколько я понял, это и не требуется по мнению минимум половины участников). Поэтому, учитывая мои собственные цели, могу предложить следующее.

Лидером назначается
курс, защитник которого, по моему мнению, проявил наибольший интерес к конкурсу и волю к быстрой победе (за каковой, по всей видимости, скрывается наиболее качественная работа). Я считаю, что это Вячеслав Панкратов и его авторский курс "Введение в нагрузочное тестирование"

Лидер становится победителем, если до 2007-08-08 20:00 msk никто из зарегистрированных участников не оспорит это решение. В противном случае обсуждение условий конкурса продолжается. Приз вручается полностью, способом, указанным в личном сообщении при регистрации или по договорённости, после чего, победитель распоряжается им по своему усмотрению.

Претензии от других участников по вопросам нарушения мной заявленных условий конкурса принимаются в течение двух месяцев после фиксации победителя и в случае обоснованности удовлетворяются в размере не превышающем размер призового фонда.

Я надеюсь, что участники не будут возражать против дальнейшего обсуждения в топике.

Я также надеюсь, что данное решение никто не будет трактовать, как доказательство невозможности обоснованного выбора лучшего в большинстве случаев курса в области нагрузочного тестирования.

По всей видимости, согласованного решения по порядку проведения к завтрашнему дню не будет.
В этом случае, я сдвигаю сроки его достижения до полуночи вторника 4 сентября 2007 г.
Я осознаю свою ответственность за то, что условия постоянно меняются с калейдоскопической скоростью, и если кто-то считает, что он поставлен в невыгодное положение или несёт незаслуженный урон в связи с этим решением или моим поведением в целом, то обращайтесь в ЛС или прямо здесь. Я читаю и, по возможности, постараюсь отвечать оперативно.

Мне тоже не нравится идея длительного голосования и маркетинговые войны. Быть зрителем на маркетинговых войнах можно вообще бесплатно, а участником не всегда перстижно.

Просто для меня должно быть понятно как сравнивались материалы - мне этот вопрос и самому интерсен, потому что я например сейчас ничего выбрать не могу :)

Ладно, хорошо, Вы просили меня дать Вам закон, я напрягся и вот он (боюсь только сейчас всё ещё больше запутается):
0 (10) Заявленный стартовый уровень слушателей
1 (60) Охват темы
1.1 (10) Организация и документация
1.2 (10) Протоколы, инструментарий, приёмы и особенности разработки СНТ
1.3 (20) Объекты тестирования
1.4 (20) Обработка результатов
2 (15) Подтверждаемость тезисов и лучших практик: логическим путём, по отраслевой статистике, из опубликованных источников
3 (13) Достигнутые результаты. Полезность для слушателей (10), плательщиков (5), отрасли (3), автора (0)
4 (2) Объём текста методических материалов
По каждому из пунктов вычисляется значение, выставляется место (голова - больше, хвост - меньше, без промежутков от единицы), потом всё домножается на вектор весов.
Способы получения значений:
0. Чем меньше, тем лучше. Те, у кого отстуствует, делят последнее место. Номенклатуру уровней представлю в течение суток по требованию.
1. Пункты из охвата темы измеряются в часах или относительном объёме в презентации помноженном на физическое время курса. Потом домножаются на долю п.3. в общей сумме среди участников.
2. Подтверждаемость - количество продемонстрированных нетривиальных логических связей (подсчитывается автором) и ссылок на опубликованные и не оспоренные до начала конкурса профессиональным сообществом факты (в случае, если оспорены, указание этого в материалах засчитывается).
3. По положительным откликам (обязаловки нет, но мне кажется если в результате сформировался хороший специалист, то он или его начальник оказался бы поблизости, возможно даже заранее, и не переминул бы), ценность для отрасли измеряется по количеству известных выполненных этими людьми работ.
4. В процентах от всех представленных материалов.

К работам я модель пока не примерял. Если есть желающие, можно объявить отдельный конкурс, но часть призового фонда, предоставляемая мной, будет существенно меньшей в абсолютном выражении. Для выявления победителя в уже объявленном конкурсе, она может быть применена только при предварительном согласии всех четверых или всех не отказавшихся от дальнейшего участия.
Вообще говоря, мне бы скорее были бы интересны интегралы аналогичной субъективной оценки по специалистам и аудитории (но полученный в условиях, когда специалистам и аудитории представлено как можно большее количество информации), возможно даже без детализации. Я считаю, что между такой величиной и моим собственным мнением всё же возможна разница (и способы её уменьшения). Фактически я хотел бы заплатить за эти самые способы и считаю что изначально объявленный конкурс - хороший путь для этого.

Вообще данный метод применяется еще с древности :)

Интересно, жили ли люди в древности дружно, долго и счастливо? Надо будет почитать. :)

У меня вопрос по поводу защиты и портфолио.

1. Что входит в защиту? Где список вопросов? (я с большим удовольствием предметно пообщаюсь, но у меня как у всех есть ограничение по времени)

Я мог бы сформировать кое-какой формальный опросник, но мне кажется это всё равно не имеет смысла при нынешнем уровне инициативности конкурсантов. Если вы почитаете первый пост в теме, то прочитаете там, что я расчитывал на прибытие конкурирующих друг с другом участников, которых не придётся уговаривать рассказать чем они лучше друг друга. При этом, я в общем то не вижу ничего каверзного в том, чтобы сравнивать между собой курсы по теории, тулам и особенностям объектов тестирования. Свой общий знаменатель я уже показал.
Поскольку этим планам не суждено было сбыться, то я склонен руководствоваться принципом "других людей у нас нет" и выдать приз в любом случае, чтобы иметь моральное право провести такой же конкурс ещё через некоторое время. Тем более, что я не считаю что никто из вас не заслужил приза.

2. В данный момент я не могу назвать ни одного Заказчика или Работодателя, где я проводил такие проекты. У меня нет явного запрета для половины случаев (первая половина не обсуждается), но тратить время на обзвон полутора десятков компаний и поиск людей, которые могут сказать своё веское "угу" и разрешить вынести в паблик хотя бы название технологий и общее описание инфраструктуры, наверное безыдейно (попробуйте из любого телекома или банка выбить такое разрешение, если кому-то интересно) - как быть?

По второму вопросу, думаю может внести ясность сам a66at, выложив пример Портфолио. Может я раньше времени оговариваюсь про ограничения.

Данный вопрос был обсуждён в ЛС и по результатам я имею сказать следующее. Case считает, что портфолио это набор очень подробных описаний выполненных проектов и всех перипетий их хода работ, а я ошибочно понимаю под этим словом что-то другое. Возможно, это правда. Поэтому поясняю свою мотивацию по пункту 2 исходного предложения. Взять, например, лучшую практику о том что для лучших результатов нагрузочное тестирование должно начинаться не на этапе тестирования, а обязательно раньше. Она могла появиться на свет минимум двумя способами: кто то мог применить её на практике и получить хорошие результаты или кто-то мог её не применить, получить плохие результаты и отмазаться что не получилось из-за того что надо было начинать раньше. Я полагаю, что путь, которым автор пришёл к этому выводу существенно влияет на всё качество изложения, т.к. успех оставляет следы во многих мелочах, столь важных при обучении. Поэтому, изначальная задумка состояла в том, чтобы иметь возможность оценить авторов и по этому фактору (соответствие опыта охваченным темам и предложенным решениям). Кроме того это исключило бы внезапные аппеляции к личному опыту в ходе обсуждения. По уже упомянутым причинам, я не настаиваю на раскрытии этой информации, более того, любой участник может эффективно заблокировать эту возможность.

Это не ссылки, это ответ "ну, я таких знаю".

Хорошо, каюсь. Ссылки я не дам, но от своих количественных оценок не отказываюсь.

Самый простой и адекватный способ оценки - что каждый из участников + арбитр расставлаяют всех участников (кроме себя) по порядку. А потом взять средневзвешенную оценку и так выбрать лучшего :)

Сложно предсказать его объективность. Будь я на месте участника, я бы наверное не согласился на такой способ оценки чего-то, что является результатом моего труда. Меня склонило бы только полное согласие основанное на логических выводах или подавляющее общественное мнение.
Впрочем, предложения по регламенту от участников всё ещё принимаются.

что будет являться критерием выбора лучшего тренинга?

Я, по-моему, уже неоднократно давал понять, что мне бы хотелось свои собственные субъективные критерии использовать для определения победителя только в крайнем случае (если в ходе прений не удастся логически обосновать подавляющее превосходство одного из курсов, а в голосовании никто не примет участия).
Мой собственный главный критерий базируется на субъективной оценке времени, требуемого для "доформирования" специалистов разного уровня после курсов до состояния, когда они смогут самостоятельно выполнять любые активности (как вариант, любые, кроме организационных) в крупном проекте. Мне бы не хотелось его никому навязывать. Если кто-то руководствовался при составлении курса другими соображениями, то неплохо было бы обрисовать их и, возможно, защитить против более романтически настроенных претендентов, вместо того, чтобы постить развёрнутые презентации (видимо я и вправду не знаю что такое развёрнутая презентация :).

То есть основной фактор это практическая применимость? Резонно.

Ещё раз. По поводу того что у отрасли есть проблемы у нас всех, мне кажется, есть консенсус (правда видение этих проблем, похоже, разное). То, что проблемы эти будут решаться открытием центров обучения при компаниях в последнее время стало общим местом. Ну вот собственно и хочется выяснить, кто почём в данном разрезе, а лучшего поощрить в меру своих сил. При этом походя всё-таки расставить приоритеты среди проблем.

надо убирать те критерии по которым предложенные Продукты относятся к разным весовым категориям.

Вы ведь сами говорите о том, что работы в данной области крайне сложны, что не хватает знающих сотрудников, что "нажравшись кактусов", что личное мастерство сложно подтвердить и т.п. Лично мой субъективный критерий заключается в том, насколько материал и курсы, которые на нём основаны, могут помочь исправить эту ситуацию. Но если кто-то будет настаивать на других качествах, то это тоже будет интересно послушать.

На остальное постараюсь ответить вечером.