Публикации OVA

#88508 Анализ и гарфическое представление результатов

Отправлено автор: OVA 18 мая 2011 - 04:32 в Тестирование производительности

Но что-то считать то надо, я и говорю что среднее тут бессмысленным значением получается. Нужно ввести некоторую норму, которая будет более менее адекватно отображать ситуацию - по крайней мере чтоб можно было сравнить два прогона тестов.

Почитайте тут, например. Для начала вам должно хватить. Дальше можно группировать запросы и отдельно статистику по запросам рассматривать, например.

Спасибо, попробую. Есть ли опыт работы с этими чартами? Есть сомнения по поводу работы с большими(за несколько десятков тысяч строк) объемами данных.

Конкретно с этими нет. У меня сейчас ситуация такая что мы сами пишем софт для анализа данных и его можем спокойно использовать для работы с данными по нагрузке. Вам такое не советую, потому как это банально дорого).
Ну а вообще есть подозрение что несколько десятков тысяч строк это не так уж и много. Ну и если что для таких вещей как правило есть стандартные решения типа группировки данных и прочего бла бла бла. Все равно вам на большом масштабе не нужно все десятки тысяч разом. Они только на зуме понадобятся.

Тут есть парой топиков ниже про нагрузочное тестирование в Яндексе, там упоминались вот эти: http://code.google.com/p/flot/ ну и am-charts. Можете там спросить что и как) Я думаю Андрею не трудно будет ответить.

#88495 выбор средства автоматизированного тестирования

Отправлено автор: OVA 17 мая 2011 - 15:23 в Про тестирование обо всём подряд

Coded UI родной со студии. Более чем ок. Если об этом речь. Для остального там инструменты тоже ок вполне.

#88494 Анализ и гарфическое представление результатов

Отправлено автор: OVA 17 мая 2011 - 15:19 в Тестирование производительности

А не надо считать среднее. :diablo:

По чартам можно вот такое посмотреть, например: http://code.google.c...-RU/apis/chart/
Вообще тысячи решений.

#88352 Подработка. Фриланс

Отправлено автор: OVA 16 мая 2011 - 05:35 в Личный рост, карьера, развитие

Там в портфолио еще бывшие и нынешние работадатели почему-то указаны... Нет, для портфолио ок, наверное, но осадочек остается.

#87929 Тест на битые ссылки

Отправлено автор: OVA 06 мая 2011 - 03:40 в Selenium - Functional Testing

Crawljax взять и не париться, если уж так хардкорно хочется. Все равно тот же WebDriver, а вся логика на обход урлов и прочего там уже вшита.

#87928 Есть ли желающие помогать мне писать плагины

Отправлено автор: OVA 06 мая 2011 - 03:38 в JMeter - Тестирование производительности

Присоединяюсь к предыдущему вопросу. Все равно раньше лета никак не смогу ничем серьезным заняться)

#87879 Стесняетесь Ли Вы Назвать Знакомым Свою Профессию?

Отправлено автор: OVA 05 мая 2011 - 09:26 в Свободное общение

Нет. Правда я иногда теряюсь как называть свою деятельность в привычной для всех системе координат.

#87877 кто что создал интересного

Отправлено автор: OVA 05 мая 2011 - 09:23 в Автоматизированное тестирование

Ну увы коммунизма в тестировании еще не случилось и нет еще ни одного толкового инструмента с которым могла бы справиться даже моя бабушка. Ну и чем больше работаю, тем боле убеждаюсь что Win как платформа это скорее препятствие чем бонус (за исключением случаев когда вы по самые уши в дотнете).

Теперь по вопросам:
0. Почему плохо учить objective с?
1. Что такое платформа для запуска тестов? Вы под Win собрались приложения для iPhone пускать? Это нонсенс. Просто тесты и всякие эмуляторы стартовать? Скриптовые языки в руки и будет счастье. В конце концов есть PowerShell и просто весьма неплохая консолька у последних версий Win.
2. Много:
selenium iphone webdriver - селениум второй же. Правда только для тестирования веб-приложений на мобилках. Макоси не надо, вин вполне ок.
Sikuli - да, по рисункам. Но достаточно гибкий, чтобы для ряда простых приложений (а таких под мобилки большинство... если ваше взрывает мозг, то увы) можно было создавать неплохие и вполне легко поддерживаемые тесты. Работает под Win, если надо. Тотальная java + jython, насколько помню.
FoneMonkey - Objective-C or JavaScript-based tests. Record/playback правда и есть проблемы с гибкостью.
UISpec - BDD, да. Но таки Ruby. Ну иногда придется все же с objective с ковыряться.
Это так, Brief.

Просто мне довольно странным видится когда люди разрабатывают приложения под iPhone и прочее яблочное добро, но у них есть серьезные проблемы с работой под макосью, нет доступа до средств разработки тех же самых яблочных продуктов и стойкое отвращение к objective с. И я не очень понимаю почему производитель отказывается платить деньги за средства разработки, особенно если они хорошие и решают попутно целую кучу головняков.

#87795 Selenium & VBScript

Отправлено автор: OVA 04 мая 2011 - 09:56 в Selenium - Functional Testing

Ок. Зайдем с другой стороны. Что у вас там на vbscript? Модальные диалоги? Ну берите в руки тот же AutoIt и дружите его с селениумом.

#87785 Selenium & VBScript

Отправлено автор: OVA 04 мая 2011 - 07:55 в Selenium - Functional Testing

А почему вы так решили?

#87742 кто что создал интересного

Отправлено автор: OVA 03 мая 2011 - 07:11 в Автоматизированное тестирование

Про GUI:
Гугль говорит что для iOS4 оно уже в Interface Builder есть (можно считать фриварным?). Ну плюс всякие selenium iphone webdriver, FoneMonkey, Sikuli, UISPEC и т.п. в зависимости от специфики задачи. Для симбиана и ведроида халявные тоже есть. Для последнего так вообще тысячи их.

И я таки не понимаю почему не фриваря сразу плохо? SQUISH вполне секси выглядит. И стоит не сильно дорого.

ЗЫ: И для других тестов тоже есть средства. В том числе не функциональных.

#87696 кто что создал интересного

Отправлено автор: OVA 01 мая 2011 - 16:09 в Автоматизированное тестирование

Под айфон с четвертой верии ои нативные редтва есть. Ну и еще тут гугль вкусного выдает + у Hathy на сайте няшки

Та тащемта и под симбиан есть. Вообще под мобилки средств расплодилось порядочно последнее время.

#87546 Почему я не люблю огурцы и фитнес — плюсы и минусы BDD и ATDD

Отправлено автор: OVA 26 апреля 2011 - 17:40 в Портал Software-Testing.Ru

kos32, вопрос в профите и скрытых издержках. Часто в итоге получаем что проще так тесты писать чем маяться с фитнесом и огурцами. Ну или свой фрейм ваять, что тоже ок.

#87497 Фриланс тестинг и все что с ним связано

Отправлено автор: OVA 26 апреля 2011 - 02:28 в Личный рост, карьера, развитие

В какую, если не секрет?

Торговля наркотиками, оружием и прочая работорговля. Говорят там гешефт сейчас самый большой.

По поводу денег все довольно просто. В тестировании довольно низкий порог на вход. Поэтому всегда будет куча вакансий с зарплатой ниже других опций в отрасли. Но есть вакансии с окладом ничуть не хуже, а местами очень даже лучше. Но туда, внезапно, нужно что-то знать и уметь. Учитывая что из тестирования часть народу уходит программировать/администрировать/впиши_еще_что-то, а так же что до сравнительно недавнего времени никто серьезно над подготовкой кадров в этой части отрасли не задумывался, то спрос есть и местами совершенно дикий.

А вышло так потому что IT в этой стране это по большей части отрасль программистов для программистов. И рудименты этой странной мутации мы можем воочию наблюдать практически везде.

#87437 Классификация тестировщиков

Отправлено автор: OVA 22 апреля 2011 - 13:44 в Личный рост, карьера, развитие

Трудовая книжка - это документ, фиксирующий Ваши взаимоотношения с работодателем. В определенных терминах -- там должность записана, а не роль. Как и в штатном расписании в РФ -- должности, а не роли.

Это рудимент полицейского государства. Как прописка, например. Или то что у вас единственное удостоверение личности это паспорт, на котором важен номер, а не фото. Вне постсоветского пространства аналогов тащемта не очень много. Мои взаимоотношения с работодателем фиксирует контракт. В контракте пишут другие вещи. Но тут наше законодательство тоже весьма отстойное.

#87430 Классификация тестировщиков

Отправлено автор: OVA 22 апреля 2011 - 11:07 в Личный рост, карьера, развитие

Каждый выбирает для себя .....
если нравится жить вне правового поле - то никто и не заставляет.

Интересно просто - а в каком документе "У меня вообще SDET написано" ?

Ок, в трудовой "Инженер Разработчик по Тестированию", кажется. На прошлой работе не помню что, но тоже мягко говоря ничего не говорящая надпись. SDET это, кажется, в головном офисе в японии я по документам так прохожу.

А правовое поле... ну смешно, да. Если я фрилансом займусь у меня вообще пустота в трудовой будет. Я получается тестировщик-никто?

#87428 Классификация тестировщиков

Отправлено автор: OVA 22 апреля 2011 - 10:05 в Личный рост, карьера, развитие

Трудовая книжка в наше время это такой совковый рудимент который ни о чем не говорит.

#87418 О чем думает тестировщик?

Отправлено автор: OVA 22 апреля 2011 - 03:57 в Свободное общение

Если ошибка сильно искажает смысл - то в комменты. А то может это и не ошибка вовсе. Если просто опечатки и т.п. то обычно игнорирую.

#87407 Классификация тестировщиков

Отправлено автор: OVA 21 апреля 2011 - 17:22 в Личный рост, карьера, развитие

Ой. У меня вообще SDET написано. Как дальше жить?

#87406 Нагрузочное тестирование в Яндексе

Отправлено автор: OVA 21 апреля 2011 - 17:21 в Тестирование производительности

3. Какой интервал берете при сборе показателей системы - 1сек, 5сек, etc. Например как часто следует мониторить утилизацию диска. Ведь если брать интервал в 1 сек, то например за 10 часов будет такое кол-во данных что график либо не отрисуется, либо будет сильно лагать.

10 часов по секунде это всего 36к кортежей, если все в одну кучу. Ну если расстараться то больше, но линейно и не сильно, почти наверняка. Это плюш, честно.
К тому же 10 часов на один тест это совсем не торт. Много такого редко надо. А после прогона можно результаты и обработать как следует.

зы: для анализа еще матмоды ок.

#87357 Почему я не люблю огурцы и фитнес — плюсы и минусы BDD и ATDD

Отправлено автор: OVA 20 апреля 2011 - 09:58 в Портал Software-Testing.Ru

Ух ты. А я все думал как про это и без матов написать.

#87274 Баги, которые прячутся от автоматических тестов

Отправлено автор: OVA 19 апреля 2011 - 06:36 в Портал Software-Testing.Ru

Да могут и стили слететь...Вообще все может быть. Никто не застрахован
Обоснуйте, почему тест станет медленным?
ихмо если у вас миллион кнопок в системе, то да,
а если их десяток то я поставлю проверки и на размер и на видимость и на верстку...
И мой тест найдет эти ошибки

Если вы делаете миллион проверок на любой чих, то медленным будет. У части приложений для тестирование извлечение свойств идет через пятую точку, так что может стать критично медленным. Одна проверка и 500 это разница. Пара секунд набежит на каждый экшен и уже совсем не очень. И у вас врятли же в GUI тесте будет "1 экшен" = "1 тест". А если вам еще сравнивать не тупо цифру/строку, а объекты, то начнется дискотека. Ну набежит пара минут на каждый тест. Ничего страшного если их несколько десятков. И если всего пара минут. А если больше?
И при этом никто вам не гарантирует что вы предусмотрели все возможные проверки свойств и все возможные экшены. Ваш тест найдет ALT, но пропустит CTRL+ALT+TAB, например. Хотите сделать все переборы? Ну ок, со странички вы можете выдрать все ивенты. Может быть. А для десктопных приложений уже не получится.

Это плохая логика проверять все, везде и сразу. Избыточные проверки это верный путь в декартов взрыв. Где-то они оправданы, но с ними надо быть аккуратным. Хардкодить эти проверки плохо и в итоге может стать дорого в плане поддержки. Делать их умными несколько дороже в плане реализации, но уже лучше. Но это дополнительные риски.

Нельзя закрыть тестами все. Более того - это не очень умно. Можно закрыть достаточно. Это утверждение верно и для мануальных тестов и для автоматики. И тут еще встает вопрос эвристик. Часть эвристик отлично работает для автоматики. Часть (визуальщина самый частый пример) слишком дорогие.

#87245 Баги, которые прячутся от автоматических тестов

Отправлено автор: OVA 18 апреля 2011 - 09:52 в Портал Software-Testing.Ru

Наличие интуиции к тому же никто не отменял. Однако справедливости ради, можно и в автотесты добавить неплохую вариативность, начиная с малого - каждый раз передовать разные данные и до различной последовательности действий...

Не, можно сразу взять monkey clicker и обозвать это автотестами. Ну допилить еще немного)
Без фанатизма многое ок. Дальше вопрос цены/времени встает.

#87214 Баги, которые прячутся от автоматических тестов

Отправлено автор: OVA 18 апреля 2011 - 06:30 в Портал Software-Testing.Ru

Нет, автор просто пишет про авт. тестирования используя юнит-тесты или API.
А проверять свойство button-а это уже из области автоматического тестирования GUI.

В данных примерах он кажется вполне конкретно разбирает GUI test automation

#87213 Баги, которые прячутся от автоматических тестов

Отправлено автор: OVA 18 апреля 2011 - 06:29 в Портал Software-Testing.Ru

Увы не всегда наличие свойства visible гарантирует нам что кнопку реально видно. У тебя могут, например, слететь по ивенту стили с кнопки. Или выставиться еще что-нибудь, так что кнопки не будет видно визуально, но при этом visible будет очень ок. Не явно дублирующиеся свойства у разных кастомных контролов во флешике это та еще дискотека.
Ну и там таки написано:

and even trying to automate a test for these types of issues is not just an effort in futility, I would say it is damn near insanity

Ну да, ты можешь проверять на каждый чих все свойства кнопки. Но это почти то же самое что верстку по координатам сверять и писать логику проверяющую по ним же поехало у тебя что или нет. Тест станет медленным, вероятность ошибок в самом тесте станет больше и так далее и тому подобное. Профит совсем теряется.

По типу контента

По пользователю