Перейти к содержимому

Публикации a66at

169 публикаций создано a66at (учитываются публикации только с 08 июня 2023)



#44894 Предложение Авторам И Преподавателям Курсов По Нагрузочному Тестирован

Отправлено автор: a66at 01 августа 2007 - 17:53 в Обучение тестировщиков ПО

Вообще данный метод применяется еще с древности :)

Интересно, жили ли люди в древности дружно, долго и счастливо? Надо будет почитать. :)



#44926 Предложение Авторам И Преподавателям Курсов По Нагрузочному Тестирован

Отправлено автор: a66at 02 августа 2007 - 11:02 в Обучение тестировщиков ПО

Мне тоже не нравится идея длительного голосования и маркетинговые войны. Быть зрителем на маркетинговых войнах можно вообще бесплатно, а участником не всегда перстижно.

Просто для меня должно быть понятно как сравнивались материалы - мне этот вопрос и самому интерсен, потому что я например сейчас ничего выбрать не могу :)

Ладно, хорошо, Вы просили меня дать Вам закон, я напрягся и вот он (боюсь только сейчас всё ещё больше запутается):
0 (10) Заявленный стартовый уровень слушателей
1 (60) Охват темы
1.1 (10) Организация и документация
1.2 (10) Протоколы, инструментарий, приёмы и особенности разработки СНТ
1.3 (20) Объекты тестирования
1.4 (20) Обработка результатов
2 (15) Подтверждаемость тезисов и лучших практик: логическим путём, по отраслевой статистике, из опубликованных источников
3 (13) Достигнутые результаты. Полезность для слушателей (10), плательщиков (5), отрасли (3), автора (0)
4 (2) Объём текста методических материалов
По каждому из пунктов вычисляется значение, выставляется место (голова - больше, хвост - меньше, без промежутков от единицы), потом всё домножается на вектор весов.
Способы получения значений:
0. Чем меньше, тем лучше. Те, у кого отстуствует, делят последнее место. Номенклатуру уровней представлю в течение суток по требованию.
1. Пункты из охвата темы измеряются в часах или относительном объёме в презентации помноженном на физическое время курса. Потом домножаются на долю п.3. в общей сумме среди участников.
2. Подтверждаемость - количество продемонстрированных нетривиальных логических связей (подсчитывается автором) и ссылок на опубликованные и не оспоренные до начала конкурса профессиональным сообществом факты (в случае, если оспорены, указание этого в материалах засчитывается).
3. По положительным откликам (обязаловки нет, но мне кажется если в результате сформировался хороший специалист, то он или его начальник оказался бы поблизости, возможно даже заранее, и не переминул бы), ценность для отрасли измеряется по количеству известных выполненных этими людьми работ.
4. В процентах от всех представленных материалов.

К работам я модель пока не примерял. Если есть желающие, можно объявить отдельный конкурс, но часть призового фонда, предоставляемая мной, будет существенно меньшей в абсолютном выражении. Для выявления победителя в уже объявленном конкурсе, она может быть применена только при предварительном согласии всех четверых или всех не отказавшихся от дальнейшего участия.
Вообще говоря, мне бы скорее были бы интересны интегралы аналогичной субъективной оценки по специалистам и аудитории (но полученный в условиях, когда специалистам и аудитории представлено как можно большее количество информации), возможно даже без детализации. Я считаю, что между такой величиной и моим собственным мнением всё же возможна разница (и способы её уменьшения). Фактически я хотел бы заплатить за эти самые способы и считаю что изначально объявленный конкурс - хороший путь для этого.



#44961 Предложение Авторам И Преподавателям Курсов По Нагрузочному Тестирован

Отправлено автор: a66at 02 августа 2007 - 16:19 в Обучение тестировщиков ПО

По всей видимости, согласованного решения по порядку проведения к завтрашнему дню не будет.
В этом случае, я сдвигаю сроки его достижения до полуночи вторника 4 сентября 2007 г.
Я осознаю свою ответственность за то, что условия постоянно меняются с калейдоскопической скоростью, и если кто-то считает, что он поставлен в невыгодное положение или несёт незаслуженный урон в связи с этим решением или моим поведением в целом, то обращайтесь в ЛС или прямо здесь. Я читаю и, по возможности, постараюсь отвечать оперативно.



#45046 Предложение Авторам И Преподавателям Курсов По Нагрузочному Тестирован

Отправлено автор: a66at 03 августа 2007 - 16:38 в Обучение тестировщиков ПО

Я, к сожалению, в ближайшую неделю нахожусь вдали от PowerPoint и не могу подсчитать некоторые из заказанных мной параметров (насколько я понял, это и не требуется по мнению минимум половины участников). Поэтому, учитывая мои собственные цели, могу предложить следующее.

Лидером назначается
курс, защитник которого, по моему мнению, проявил наибольший интерес к конкурсу и волю к быстрой победе (за каковой, по всей видимости, скрывается наиболее качественная работа). Я считаю, что это Вячеслав Панкратов и его авторский курс "Введение в нагрузочное тестирование"

Лидер становится победителем, если до 2007-08-08 20:00 msk никто из зарегистрированных участников не оспорит это решение. В противном случае обсуждение условий конкурса продолжается. Приз вручается полностью, способом, указанным в личном сообщении при регистрации или по договорённости, после чего, победитель распоряжается им по своему усмотрению.

Претензии от других участников по вопросам нарушения мной заявленных условий конкурса принимаются в течение двух месяцев после фиксации победителя и в случае обоснованности удовлетворяются в размере не превышающем размер призового фонда.

Я надеюсь, что участники не будут возражать против дальнейшего обсуждения в топике.

Я также надеюсь, что данное решение никто не будет трактовать, как доказательство невозможности обоснованного выбора лучшего в большинстве случаев курса в области нагрузочного тестирования.



#45228 Предложение Авторам И Преподавателям Курсов По Нагрузочному Тестирован

Отправлено автор: a66at 08 августа 2007 - 16:43 в Обучение тестировщиков ПО

Я считаю, что это Вячеслав Панкратов и его авторский курс "Введение в нагрузочное тестирование"

Лидер становится победителем, если до 2007-08-08 20:00 msk никто из зарегистрированных участников не оспорит это решение.

Проштамповано.
Победителнм объявляется Вячеслав Панкратов и его авторский курс "Введение в нагрузочное тестирование"
Претензии по качеству проведения конкурса принимаются до 8 октября 2007 г. включительно.



#45356 Как Оценить Числовые Показатели Нагрузочного Тестирования?

Отправлено автор: a66at 13 августа 2007 - 17:17 в Тестирование производительности

Ну вообще-то, справедливости ради, есть ещё один вариант. Можно без всяких аналитиков взять, да и выяснить, почему же в данном конкретном случае полученные времена отклика/обработки не получились меньше или не могут быть уменьшены. Кроме оказываемого дидактического эффекта эта метода помогает выявить собственные недостатки тестирования, а также избавляет от неприятных моментов при коммуникации его результатов.



#46573 Методологии Тестирования

Отправлено автор: a66at 15 сентября 2007 - 17:00 в Управление тестированием

...

На самом деле, являясь простым обывателем, не нуждающимся в устоявшейся терминологии в области тестирования, я считаю, что Nadya Kochetova защищала верную терминологию.

План это последовательность действий (возможно с параллельными ветками выполнения, возможно с проставленными датами). Диаграмма Ганта выражает план. Примером плана является «Дорожная карта» продвижения к постоянному урегулированию палестино-израильского конфликта в соответствии с принципом сосуществования двух государств на основе оценки выполнения сторонами своих обязательств. Переводчики этого документа (а вряд ли кто-то знает русский язык лучше переводчиков Объединённых Наций) ссылаются на него как на план.

Термин же "стратегия", вот уже лет пятьдесят как, часто употребляется в смысле, который в него вкладывает теория игр (см. Стратегия).
В применении к тест-менеджменту, стратегия - это дефиниция того, что надо делать (планировать) при наступлении тех или иных обстоятельств, вероятность которых заранее неизвестна. Стратегия отражает неопределённые аспекты планирования, которые на ту же диаграмму Ганта не ложатся. В этом смысле, приоритезация рисков - это способ определения стратегии. На русский язык термин переведён точно - стратегия не эквивалентна плану. Для проверки можно попытаться, например, мысленно назвать Стратегию развития металлургической промышленности Российской Федерации на период до 2015 года планом. :) Заодно можно обратить внимание на обилие количественных показателей и элементы неопределённости (впрочем, довольно слабо прописанные) в этом документе. Это именно то, что отличает её от плана.

Что же касается James Lyndsay, то он, видимо, просто забыл поставить в свою фразу оговорку under various circumstances, потому что она для него очевидна. Понятие стратегии - это просто часть его (и, возможно, его читателей) математической культуры.



#46924 Менеджер По Развитию Sqa Services

Отправлено автор: a66at 24 сентября 2007 - 05:24 в Работа/Москва

когда-то задавал к позиции Яндекса a66at

"Рукопись содержалась в старинной картонной папке для бумаг, завёрнутой в старинный же полиэтиленовый мешок."

BTW, astik говорил про пожарника, и тут, бац, разговор перешёл на продажника. Его и проштамповали.



#47894 Чем и как найти возможную утечку памяти (memory leak)

Отправлено автор: a66at 22 октября 2007 - 15:17 в JMeter - Тестирование производительности

А то клиент-сервер на Java script это звучит :)

В качестве очередного бесплатного восстановления справедливости: была такая технология, Microsoft Active Server Pages, в ней можно было использовать JavaScript для программирования на стороне сервера. По остальным буквам претензий не имею.

Если по делу.

1. Где смотреть конфиги про память, с которой стартует Tomcat?

В его стартап скрипте (том .bat файле, который надо нажать, чтобы он запустился) или настроечных xml, на которые он ссылается. Там, я полагаю, должны быть ключи -Xms , -Xmx, -server и т.п. Просто поищите файловым поиском в его директории эти буквосочетания.

2. Можно поподробнее насчёт нагрузочного тестирования под профайлером? Т.е. что это такое и как оно делается?

В данном случае, профайлер это софтина, которая будет показывать, сколько памяти в куче JVM занято, а сколько свободно. В принципе этого достаточно, чтобы понять, правда ли есть утечка памяти, или её просто не хватает, чтобы всех обслужить.

И остался без ответа вопрос по бесплатным-простым тулам по просмотру Memory Leak.

Вот я не специалист по JBoss, но по аналогии с другими продуктами думаю, у него в административной консоли можно смотреть занятость памяти и количество активных потоков, сделать принудительную сборку мусора. В первом приближении этого достаточно для Ваших целей.
В JDK начиная с 1.5 есть ещё бесплатный монитор JConsole, который делает всё то же самое на уровне JVM, вне зависимости от того, какой сервер приложений и приложения на ней выполняются. Для более ранних версий ничего такого же практичного в голову не приходит.



#47911 Чем и как найти возможную утечку памяти (memory leak)

Отправлено автор: a66at 23 октября 2007 - 06:34 в JMeter - Тестирование производительности

"0." Приложение написано на Javascript..

Действительно, загадочно. А какое расширение имеет пакет с приложением, когда его передают разработчики? Или, если это архив, то какие файлы там внутри?

Вопрос по JConsole: насколько просто и понятно с ней работать (ещё не знаю что это, но интересно)?

Мне кажется, достаточно просто и понятно.
Вот тут есть соответствующая случаю картинка: http://java.sun.com/...MemoryDetection

Почитал интернет, у JBoss 3 нет собственной административной консоли, только JMX интерфейс. Так что в Вашей конфигурации, действительно, наверное дешевле всего осваивать какой-нибудь try&buy профайлер времён используемой JRE.

По поводу количества пользователей: для того, чтобы определить утечку, в принципе, можно запуститься и одним пользователем. Потом, если не найдёте утечки - пятью. Потом прикините расход памяти сервером приложений и на одного активного пользователя, и посчитаете, сколько пользователей можно обслужить имея 512Мб.



#47936 Чем и как найти возможную утечку памяти (memory leak)

Отправлено автор: a66at 23 октября 2007 - 10:44 в JMeter - Тестирование производительности

Правда понятнее всё же не стало.

У них может быть, например, это: https://phobos.dev.java.net/. К проблемам нагрузочного тестирования это правда мало относится.



#47958 Чем и как найти возможную утечку памяти (memory leak)

Отправлено автор: a66at 23 октября 2007 - 12:58 в JMeter - Тестирование производительности

Следует заметить, что в Java сборщик мусора работает по весьма хитрому алгоритму

Именно на этот случай там рядом с графиком обычно имеется кнопка, которая вызывает System.gc().
Более того, насколько я могу судить, сам этот вызов, System.gc(), был выведен в API в первую очередь в обеспечение отлова утечек на этапе модульного тестирования (что, кстати, позволяет их сразу и локализовать). Для нагрузочного найденные утечки памяти это всё-таки "попутный газ" - можно найти, а можно и не найти, об чём имеются яркие свидетельства.



#48480 QA в инженерных отраслях.

Отправлено автор: a66at 03 ноября 2007 - 10:12 в QA: обеспечение качества

инженерные изыскания, направленные на то чтобы здания не разрушались, а самолёты не падали на глазах у удивлённой публики,


Для корректного выполнения данных изысканий нуже менеджмент качества (а QA это часть его)

Очень содержательное замечание, большое спасибо за фидбек.

Если Вы не заметили, в моём запросе содержался конкретный вопрос:
"Если такое есть, то может быть кто-то поделиться названиями основных процессов?"

Причём, по итогам обсуждения, хотелось бы, чтобы ответ был дополнен сведениями, которые позволили бы заключить, что данные процессы людям, которые производят продукт, недоступны, и обязательно должны быть поддержаны отдельными строками в бюджете, ставками для "профессионалов в области качества" и одобрением VIP-ов.

Для того, чтобы Вам было проще сформулировать свои мысли по этому вопросу, предлагаю модельную задачку: Space Station: Internal NASA Reports Explain Origins of June Computer Crisis. Приведите пожалуйста список процессов (названия), жизненно необходимых для предотвращения подобного по воздействию на систему инцидента в будущем.



#48512 к вопросу об увеличении продуктивности...

Отправлено автор: a66at 05 ноября 2007 - 18:29 в Свободное общение

Study Finds Working At Work Improves Productivity


Небольшой трибьют слешдоту:

In other news: quantity transfroms into quality.

И обязательное:

In Soviet Russia, work does you.



#48691 QA в инженерных отраслях.

Отправлено автор: a66at 08 ноября 2007 - 08:03 в QA: обеспечение качества

Кстати, сегодня Всемирный день качества (надо полагать, в неинженерных отраслях - комм. напоминальщика).



#49073 performance consultant

Отправлено автор: a66at 16 ноября 2007 - 16:58 в Работа/Санкт-Петербург

[up] to web technologies

Т.е. сверхдомен не будет? Все на кошках? ;)



#49843 Тестирование производительности LR8.1FP4: cтранное поведение web-прило

Отправлено автор: a66at 03 декабря 2007 - 12:50 в Hewlett-Packard (Mercury) - Тестирование производительности

сетка (адаптивность к нагрузке, увеличение пропускной способности...)?

А так бывает вообще? :)

А по теме: ищите различия в графиках Transaction Response Time (Percentile) Graph или Average Transaction Response Time Graph [over Time] (в Analysis).



#49864 Тестирование производительности LR8.1FP4: cтранное поведение web-прило

Отправлено автор: a66at 03 декабря 2007 - 16:11 в Hewlett-Packard (Mercury) - Тестирование производительности

А какие именно искать "различия в графиках"? Можете на примере пояснить?


Могу чисто теоретически: если статистический момент распределений времени обслуживания различается, то это значит, что и сами распределения
разные, что собственно и является причиной (не корневой) разницы моментов.

Например, первый график для одного пользователя может быть пологим, а для многих - крутым и начинаться ниже, или даже иметь что-то похожее на разрыв вдали от 100pct. Полагаю, кеширование на этом графике так и выглядит, хотя сам внимания на это никогда не обращал.



#50147 Оборудование для автоматизации тестирования тарифов

Отправлено автор: a66at 07 декабря 2007 - 13:07 в Автоматизированное тестирование

Потому необходимо оборудование способное иммитировать работу мобильного телефона, естественно подключаемое к компьютеру на котором будет стоять программа контролирующая процесс тестирования, что-то на подобии BillingCheck. Например, прибор подключаемый через USB или COM, что-то типа GSM-модуля, вставляется в него SIM-карта, потом в программе выбирается сценарий тестирования и запускается тест. Прибор производит все необходимые операции, заданные в сценарии, в точной последовательности. И мы получаем результат, напрм., в виде Excel-файла. После этого программа производит сверку полученного результата с ожидаемым и выводит информацию о наличии или отсутствии ошибок.

Вы можете некоторые (я думаю, из современных - большинство) телефоны подключить к ПК по USB или BT и создать поверх этого соединения виртуальный COM-порт. По этому порту терминал управляется с помощью AT команд. ATDT - позвонить куда-нибудь или открыть GPRS-сессию, AT+CMGS - послать SMS. Для MMS тоже наверняка что-то есть.



#50156 Тестирование производительности LR8.1FP4: cтранное поведение web-прило

Отправлено автор: a66at 07 декабря 2007 - 14:03 в Hewlett-Packard (Mercury) - Тестирование производительности

Насчет кэширования (Оракла или веб-сервера) я как раз думал, но не видно, чтоб происходил процесс выхода на стационарный режим при нескольких юзерах (т.е. нет участка в начале, когда времена скачут, а потом выравниваются).

Напоминает теханализ. ;) Чтобы не гадать, вот ещё один вариант. Делаете в oracle отчёт statspack за одинаковые промежутки времени в экспериментах с разным количеством пользователей. Смотрите там секцию SQL ordered by Reads. Находите в ней "свои" запросы. Для этих запросов сравниваете Executions, если изменение этого параметра непропорционально увеличению количества пользователей, то значит кеширование в бизнес-логике, а если пропорционально, но различаются Reads per Exec, то это кеш-буфер oracle. Есть и другие варианты, но, думаю, это покрывает процентов 80 случаев.

Поэтому меня больше интересовал вопрос касательно сетевых "приколов".

Там наверное есть ещё где-то метрики Time To First Byte, Time To Last Byte, их не пробовали сравнивать? Ну или tcpdump для экстремалов.



#50157 Тестирование производительности LR8.1FP4: cтранное поведение web-прило

Отправлено автор: a66at 07 декабря 2007 - 14:09 в Hewlett-Packard (Mercury) - Тестирование производительности

P.S. У вас в обоих случаях один и тот же сценарий используется? В смысле включенность/выключеннность think time одинаковая?



#50919 Java performance graphs

Отправлено автор: a66at 22 декабря 2007 - 15:20 в Hewlett-Packard (Mercury) - Тестирование производительности

Иначе при анализе результатов вы "слепы" - response time видите, а понять как это время разложилось на сервер приложения (какие сервлеты, jsp, методы вызывались) и сервер БД (какие SQL запросы обрабатывались) вы не в состоянии.

Звучит так, как будто в промышленные сервера приложений и БД собственные средства мониторинга и профилирования, которые позволяют то же самое (и многое другое) условно бесплатно делать, не встроены. И только HP Diagnostics for J2EE поливает своим светом всё это безобразие.
Так вот придёшь однажды в понедельник на работу, а тебе там скажут, что консультанты HP заявили, что ты "слеп" и давай-ка тут быстренько осваивай "новейшие технологии".



#50926 Java performance graphs

Отправлено автор: a66at 23 декабря 2007 - 15:59 в Hewlett-Packard (Mercury) - Тестирование производительности

Ну и к чему это кривляние? Из серии настоящему мужчине всегда есть что сказать что ли?

Видите ли, в связи с тем что локальные продавцы данной продукции обычно действуют по принципу "слышал где звон, да не знаю где он", а в качестве "звона" вполне могут употребляться "технические подробности" с форумов (кстати, наименее искажающего канала связи с заказчиками), то вот и хотелось бы чтобы контекст подобных заявлений с Вашей стороны (а Вы действительно добросовестный и опытный консультант) задавался явным образом без дополнительных одёргиваний. Это моё личное желание, ни в коем случае не обязательное к исполнению никем, но я оставляю за собой право поддерживать его публичными сообщениями на форуме. Поскольку в данном случае ограничения применения добавлены к ветке, то больше претензий не имею, готов исправить своё предыдущее сообщение любым доступным моему пониманию способом, если оно Вас оскорбляет.
---------------------
P.S. Но всё же, если бы маркетинг HP начал нас ещё и парить тем, что LoadRunner, в прошлые годы весь из себя "из-конца-в-конец", на самом деле даёт результаты, с которыми инженерная команда "слепа" (пускай даже в каких-то неясно очерченных частных случаях) и нужно тут вот ещё add-on докупить, то вот это бы и было настоящим ШОУ, по сравнению с которым мои кривляния - так, лёгкие гримасы рынка.



#50963 Java performance graphs

Отправлено автор: a66at 24 декабря 2007 - 18:52 в Hewlett-Packard (Mercury) - Тестирование производительности

Дьявол, как известно, в деталях кроется, а маркетинг про это может и не рассказать.

Я думаю я не ошибаюсь по поводу того за что несут ответственность локальные продажи, а за что глобальный маркетинг, но обосновывать нет времени, да и оффтопик это. Так что я в этой теме больше не пишу. Может быть как-нибудь после праздников в другом месте.



#51351 Не работает Rss лента сайта. [fixed]

Отправлено автор: a66at 10 января 2008 - 20:08 в Портал www.it4business.ru

обьявление xml не в начале внешней сущности

Ну вообще-то оно определённо ругается на первую пустую строку. Кажется, по спецификации обязательно нужно, чтобы файл начинался с <?xml version="1.0"?>.