Предложение Авторам И Преподавателям Курсов По Нагрузочному Тестирован

У меня вопрос по поводу защиты и портфолио.

1. Что входит в защиту? Где список вопросов? (я с большим удовольствием предметно пообщаюсь, но у меня как у всех есть ограничение по времени)

Я мог бы сформировать кое-какой формальный опросник, но мне кажется это всё равно не имеет смысла при нынешнем уровне инициативности конкурсантов. Если вы почитаете первый пост в теме, то прочитаете там, что я расчитывал на прибытие конкурирующих друг с другом участников, которых не придётся уговаривать рассказать чем они лучше друг друга. При этом, я в общем то не вижу ничего каверзного в том, чтобы сравнивать между собой курсы по теории, тулам и особенностям объектов тестирования. Свой общий знаменатель я уже показал.
Поскольку этим планам не суждено было сбыться, то я склонен руководствоваться принципом "других людей у нас нет" и выдать приз в любом случае, чтобы иметь моральное право провести такой же конкурс ещё через некоторое время. Тем более, что я не считаю что никто из вас не заслужил приза.

2. В данный момент я не могу назвать ни одного Заказчика или Работодателя, где я проводил такие проекты. У меня нет явного запрета для половины случаев (первая половина не обсуждается), но тратить время на обзвон полутора десятков компаний и поиск людей, которые могут сказать своё веское "угу" и разрешить вынести в паблик хотя бы название технологий и общее описание инфраструктуры, наверное безыдейно (попробуйте из любого телекома или банка выбить такое разрешение, если кому-то интересно) - как быть?

По второму вопросу, думаю может внести ясность сам a66at, выложив пример Портфолио. Может я раньше времени оговариваюсь про ограничения.

Данный вопрос был обсуждён в ЛС и по результатам я имею сказать следующее. Case считает, что портфолио это набор очень подробных описаний выполненных проектов и всех перипетий их хода работ, а я ошибочно понимаю под этим словом что-то другое. Возможно, это правда. Поэтому поясняю свою мотивацию по пункту 2 исходного предложения. Взять, например, лучшую практику о том что для лучших результатов нагрузочное тестирование должно начинаться не на этапе тестирования, а обязательно раньше. Она могла появиться на свет минимум двумя способами: кто то мог применить её на практике и получить хорошие результаты или кто-то мог её не применить, получить плохие результаты и отмазаться что не получилось из-за того что надо было начинать раньше. Я полагаю, что путь, которым автор пришёл к этому выводу существенно влияет на всё качество изложения, т.к. успех оставляет следы во многих мелочах, столь важных при обучении. Поэтому, изначальная задумка состояла в том, чтобы иметь возможность оценить авторов и по этому фактору (соответствие опыта охваченным темам и предложенным решениям). Кроме того это исключило бы внезапные аппеляции к личному опыту в ходе обсуждения. По уже упомянутым причинам, я не настаиваю на раскрытии этой информации, более того, любой участник может эффективно заблокировать эту возможность.

Вообще данный метод применяется еще с древности :)

Интересно, жили ли люди в древности дружно, долго и счастливо? Надо будет почитать. :)

Самый простой и адекватный способ оценки - что каждый из участников + арбитр расставлаяют всех участников (кроме себя) по порядку. А потом взять средневзвешенную оценку и так выбрать лучшего :)

Я уже тоже думал над таким вариантом, но даже не стал предлагать его - доводы хорошо отписал a66at.

Case считает, что портфолио это набор очень подробных описаний выполненных проектов и всех перипетий их хода работ, а я ошибочно понимаю под этим словом что-то другое. Возможно, это правда.

Я не говорил дословно этого. Скорее это описание успешных проектов с указанием проблемной области, решение задач которой может характеризовать Специалиста, как Инженера, который ищет решение Задачи, а не просто умеет использовать Инструмент в более-менее стандартном для проекта нагрузочного тестирования окружении. Нормальным окружением я бы назвал следующее: сценарии использования определены, модель нагрузки формализуема или есть возможность её получить от Клиента или Эксплуатации, Инструмент поддерживает протокол общения частей системы.

Более-менее интересной задачей, я бы назвал ситуацию, когда критериев приемлимости результатов нет, они могут быть получены путём анализа условий производственной эксплуатации и вывода критических значений исходя из задач бизнес уровня: количества транзакций необходимых для успешного и эффективного применения информационной системы. Ну, например, получить время граничное обработки операции бронирования билета, исходя из кол-ва продаваемых за сезон отпусков билетов и сформировать минимальные и рекомендуемые значения для аппаратного комплекса - как-то так.

Коллеги,

мы сами себя загоняем в угол.


Никаких более или менее адекватных способов оценки мы придумать не сможем, как бы не старались. Чтобы провести реальный конкурс, нужно было вырабатывать критерии ДО начала. Потому что, если этим мы займемся сейчас, то это получится подгонка критериев под свое творение. К тому же, все курсы совершенно разные и, от этого, не сравнимые между собой.


Предлагаю применить самый простой способ. Пусть нас рассудит народ! Нужно организовать голосование не сайте. Участвуют все желающие. Кто наберет больше голосов, тот и победил. К голосованию можно допускать только тех, кто зарегистрировался на форуме до начала конкурса. Чтобы исключить фактор сезонности, срок голосования нужно определить как можно больше. Например, до 25-го декабря сего года. (Очень быстро многие потеряют к конкурсу интерес и голосовать будут только те, кого это действительно заинтересует.)

Допускаются все приемы. Можно организовывать общественность в свою поддержку, проводить рекламу и призывать голосовать за себя. Победит - самый успешный в маркетинге.

Коллеги,

мы сами себя загоняем в угол.


Никаких более или менее адекватных способов оценки мы придумать не сможем, как бы не старались. Чтобы провести реальный конкурс, нужно было вырабатывать критерии ДО начала. Потому что, если этим мы займемся сейчас, то это получится подгонка критериев под свое творение. К тому же, все курсы совершенно разные и, от этого, не сравнимые между собой.


Предлагаю применить самый простой способ. Пусть нас рассудит народ! Нужно организовать голосование не сайте. Участвуют все желающие. Кто наберет больше голосов, тот и победил. К голосованию можно допускать только тех, кто зарегистрировался на форуме до начала конкурса. Чтобы исключить фактор сезонности, срок голосования нужно определить как можно больше. Например, до 25-го декабря сего года. (Очень быстро многие потеряют к конкурсу интерес и голосовать будут только те, кого это действительно заинтересует.)

Допускаются все приемы. Можно организовывать общественность в свою поддержку, проводить рекламу и призывать голосовать за себя. Победит - самый успешный в маркетинге.

Нужно только отметить, что в этом случае будет конкурс не тренингов, а материалов к тренингам. Но, возможно, пояснения и объяснения на вопросы заинтересованных, позволит частично оценить и сами тренинги.

Кстати, вот возможный механизм.

Есть три критерия:
1. Количество голосов посетителей за тренинг
2. Количество вопросов - ответов по каждому из тренингов (измеряется цепочка обсуждения, чья длинее, тот и в переди)
3. Средняя оценка полезности каждого ответа по тренингу (спрашивающий дает оценку ответу на свой вопрос, можно по 3-х бальной системе) - если такая функциональность возможна.

Победит - самый успешный в маркетинге.

Попросту самый громкий :) Сергей, это не клёво. У меня предложение к a66at, которое я уже высказал ему в привате: выбирать должен он: он сделал конкурс, мы приняли правила несмотря на все возникшие теперь среди нас разговоры. Ему и решать. Я соглашусь с любым обоснованным решением, критерии которого будут прозрачно сформулированны. Заметим, если a66at сформулирует решение "не более 10 страниц в ворде" и я вылечу по этому признаку я всё равно соглашусь: это его конкурс и его правила. Просто для меня должно быть понятно как сравнивались материалы - мне этот вопрос и самому интерсен, потому что я например сейчас ничего выбрать не могу :) Нравится материал SALar-а, но "нравится" не прокатывает для решения.

Тема с открытым голосаванием мне не нравится. Я не вижу аргументации анонимного голосователя. Предлагаю принимать "голоса" тех, кто выскажется в этой ветке форума или в другой специально открытой. Тянуть до декабря... брррр :)

Case считает, что портфолио это набор очень подробных описаний выполненных проектов и всех перипетий их хода работ, а я ошибочно понимаю под этим словом что-то другое. Возможно, это правда.

Я не говорил дословно этого. Скорее это описание успешных проектов с указанием проблемной области, решение задач которой может характеризовать Специалиста, как Инженера, который ищет решение Задачи, а не просто умеет использовать Инструмент в более-менее стандартном для проекта нагрузочного тестирования окружении. Нормальным окружением я бы назвал следующее: сценарии использования определены, модель нагрузки формализуема или есть возможность её получить от Клиента или Эксплуатации, Инструмент поддерживает протокол общения частей системы.

Более-менее интересной задачей, я бы назвал ситуацию, когда критериев приемлимости результатов нет, они могут быть получены путём анализа условий производственной эксплуатации и вывода критических значений исходя из задач бизнес уровня: количества транзакций необходимых для успешного и эффективного применения информационной системы. Ну, например, получить время граничное обработки операции бронирования билета, исходя из кол-ва продаваемых за сезон отпусков билетов и сформировать минимальные и рекомендуемые значения для аппаратного комплекса - как-то так.

перечитал себя по утру :) Прошу присяжных не учитывать это предложение :)

Получается что будет чистая пузомерка Авторов, а не Тренингов. Нафиг Портфолио?

Мне тоже не нравится идея длительного голосования и маркетинговые войны. Быть зрителем на маркетинговых войнах можно вообще бесплатно, а участником не всегда перстижно.

Просто для меня должно быть понятно как сравнивались материалы - мне этот вопрос и самому интерсен, потому что я например сейчас ничего выбрать не могу :)

Ладно, хорошо, Вы просили меня дать Вам закон, я напрягся и вот он (боюсь только сейчас всё ещё больше запутается):
0 (10) Заявленный стартовый уровень слушателей
1 (60) Охват темы
1.1 (10) Организация и документация
1.2 (10) Протоколы, инструментарий, приёмы и особенности разработки СНТ
1.3 (20) Объекты тестирования
1.4 (20) Обработка результатов
2 (15) Подтверждаемость тезисов и лучших практик: логическим путём, по отраслевой статистике, из опубликованных источников
3 (13) Достигнутые результаты. Полезность для слушателей (10), плательщиков (5), отрасли (3), автора (0)
4 (2) Объём текста методических материалов
По каждому из пунктов вычисляется значение, выставляется место (голова - больше, хвост - меньше, без промежутков от единицы), потом всё домножается на вектор весов.
Способы получения значений:
0. Чем меньше, тем лучше. Те, у кого отстуствует, делят последнее место. Номенклатуру уровней представлю в течение суток по требованию.
1. Пункты из охвата темы измеряются в часах или относительном объёме в презентации помноженном на физическое время курса. Потом домножаются на долю п.3. в общей сумме среди участников.
2. Подтверждаемость - количество продемонстрированных нетривиальных логических связей (подсчитывается автором) и ссылок на опубликованные и не оспоренные до начала конкурса профессиональным сообществом факты (в случае, если оспорены, указание этого в материалах засчитывается).
3. По положительным откликам (обязаловки нет, но мне кажется если в результате сформировался хороший специалист, то он или его начальник оказался бы поблизости, возможно даже заранее, и не переминул бы), ценность для отрасли измеряется по количеству известных выполненных этими людьми работ.
4. В процентах от всех представленных материалов.

К работам я модель пока не примерял. Если есть желающие, можно объявить отдельный конкурс, но часть призового фонда, предоставляемая мной, будет существенно меньшей в абсолютном выражении. Для выявления победителя в уже объявленном конкурсе, она может быть применена только при предварительном согласии всех четверых или всех не отказавшихся от дальнейшего участия.
Вообще говоря, мне бы скорее были бы интересны интегралы аналогичной субъективной оценки по специалистам и аудитории (но полученный в условиях, когда специалистам и аудитории представлено как можно большее количество информации), возможно даже без детализации. Я считаю, что между такой величиной и моим собственным мнением всё же возможна разница (и способы её уменьшения). Фактически я хотел бы заплатить за эти самые способы и считаю что изначально объявленный конкурс - хороший путь для этого.

Коллеги,

если нужно еще что-то писать, сочинять, составлять в ближайшее время, да еще и в короткие сроки - я автоматически выпадаю.

У меня завтра последний рабочий день перед отпуском, а дел - по-горло. Буду еще два дня в конце следующей недели, но и они уже расписаны. А потом появлюсь только к сентябрю. Так что вы тут без меня как-нибудь...

По всей видимости, согласованного решения по порядку проведения к завтрашнему дню не будет.
В этом случае, я сдвигаю сроки его достижения до полуночи вторника 4 сентября 2007 г.
Я осознаю свою ответственность за то, что условия постоянно меняются с калейдоскопической скоростью, и если кто-то считает, что он поставлен в невыгодное положение или несёт незаслуженный урон в связи с этим решением или моим поведением в целом, то обращайтесь в ЛС или прямо здесь. Я читаю и, по возможности, постараюсь отвечать оперативно.

Схема мне более-менее понятна, спасибо за потраченное время.
Сентябрь - это долго, к тому времени у нас может выйти +1-2 тренинга (сейчас как раз делаются) + текущие версии устареют, пойдём в итерацию?..

Есть упрощение.
a66at, выберите сегодня победителя, а если другие участники аргументированно скажут "нет" вашему решению (хотя я бы вообще на вашем месте никого не слушал, это ваш конкурс) и потребуют доказательств уровня "а он вообще кто такой и с какого перепугу у него вот тут так написано", то будем играться с остальной бодягой и подсчётом баллов, если конечно это кому-то интересно.

Схема мне более-менее понятна, спасибо за потраченное время.
Сентябрь - это долго, к тому времени у нас может выйти +1-2 тренинга (сейчас как раз делаются) + текущие версии устареют, пойдём в итерацию?..

Есть упрощение.
a66at, выберите сегодня победителя, а если другие участники аргументированно скажут "нет" вашему решению (хотя я бы вообще на вашем месте никого не слушал, это ваш конкурс) и потребуют доказательств уровня "а он вообще кто такой и с какого перепугу у него вот тут так написано", то будем играться с остальной бодягой и подсчётом баллов, если конечно это кому-то интересно.

Я - за!

Я, к сожалению, в ближайшую неделю нахожусь вдали от PowerPoint и не могу подсчитать некоторые из заказанных мной параметров (насколько я понял, это и не требуется по мнению минимум половины участников). Поэтому, учитывая мои собственные цели, могу предложить следующее.

Лидером назначается
курс, защитник которого, по моему мнению, проявил наибольший интерес к конкурсу и волю к быстрой победе (за каковой, по всей видимости, скрывается наиболее качественная работа). Я считаю, что это Вячеслав Панкратов и его авторский курс "Введение в нагрузочное тестирование"

Лидер становится победителем, если до 2007-08-08 20:00 msk никто из зарегистрированных участников не оспорит это решение. В противном случае обсуждение условий конкурса продолжается. Приз вручается полностью, способом, указанным в личном сообщении при регистрации или по договорённости, после чего, победитель распоряжается им по своему усмотрению.

Претензии от других участников по вопросам нарушения мной заявленных условий конкурса принимаются в течение двух месяцев после фиксации победителя и в случае обоснованности удовлетворяются в размере не превышающем размер призового фонда.

Я надеюсь, что участники не будут возражать против дальнейшего обсуждения в топике.

Я также надеюсь, что данное решение никто не будет трактовать, как доказательство невозможности обоснованного выбора лучшего в большинстве случаев курса в области нагрузочного тестирования.

Я в отпуске с 1 августа. В связи с чем ничего защищать не могу. Свое мнение изложу после объявления победителя.

Есть предложение.
Я думал над тем, чтобы осенью (сентябрь-октябрь) устроить конференцию тестировщиков. Там бы объявление победителя было в кассу. Или просто объявление об этом конкурсе. Чтобы уж совсем все сделать красиво.

Свое мнение изложу после объявления победителя.

Грубо получилось. Я к тому, что обсуждать критерии можно или до, или после конкурса. А не во время него.

Вот уж не ожидал :) После того как мы неоднакратно и продолжительно ругались с a66at в переписке и ЛС, скажу честно не надеялся.

Аргументация правда, не без ложки дёгтя но иначе это уже был бы не a66at.

Лидером назначается
курс, защитник которого, по моему мнению, проявил наибольший интерес к конкурсу и волю к быстрой победе (за каковой, по всей видимости, скрывается наиболее качественная работа). Я считаю, что это Вячеслав Панкратов и его авторский курс "Введение в нагрузочное тестирование"

Слава, поздравляю!

Думаю, что это справедливо, так как из представленных - твой курс был "живым" и постоянно улучшался в процессе преподавания.

Сергей, салют.

Спасибо! Повторюсь не думал. У меня в этом конкурсе вообще-то были цели "воспитания публичности" скорее :)

Если помнишь, я ещё на cаммите в МСК, который Влад делал говорил что мы выложим тренинги в паблик, так и не собрались. А тут хороший вариант.