Публикации OVA

#96833 Автоматизация мобильного тестирования (iPhone,Android). Нужно ли это в

Отправлено автор: OVA 10 ноября 2011 - 04:02 в Автоматизированное тестирование

Я боюсь тратить деньги на тот фарш который продают под видом софта для тестирования мобильного софта по меньшей мере нецелесообразно. Robotium и нативные средства iРазработки более чем достаточны для тестирования нативных морд (Fred и т.п. по желанию, но это инжекторы фактически). Для тестирования веба есть относительно нормально работающий WebDriver под обе платформы. Для тестирования вообще всего подноготного есть SL4A на ведроиде + adb консолька (под iPhone хуже, но вроде консолька тоже была какая-то).

Фемтосоты, мониторинг траффика на wi-fi точках (та тащемта местами можно и прямо на мобилках, но тут рутовать надо) и прочие средства адекватного замера производительности over da air по желанию.

#96832 Разновидности тестирования.

Отправлено автор: OVA 10 ноября 2011 - 03:50 в Про тестирование обо всём подряд

ручное нагрузочное тестирование
Совершенно нормальное и часто применяемое тестирование. Именно ручное, именно нагрузочное.

Я жажду подробностей этого извращения.

#96788 Автоматизация мобильного тестирования (iPhone,Android). Нужно ли это в

Отправлено автор: OVA 08 ноября 2011 - 17:51 в Автоматизированное тестирование

Нативное с xcode.

#96787 Разновидности тестирования.

Отправлено автор: OVA 08 ноября 2011 - 17:50 в Про тестирование обо всём подряд

Но действительно начинающему тестировщику так проще понимать, ибо:
-- если два термина находятся в разных классификациях, значит, они достаточно ортогональны и их можно комбинировать,
-- если два термина находятся в одной классификации, значит, они достаточно взаимоисключающие.

Если бы все было так просто... Бета-тестирование белого ящика это конечно хорошо. Ровно как и приемочные тесты которые никогда и низачто не могут быть регрессионными (ручное нагрузочное тестирование обоземойнекраудсорсинг). От таких выводов приходится потом санитарию голов делать.

Хотя может оно лучше так чем вообще никак. Я подумаю над этим. Это концентрация на терминах хороша только в меру.

#96714 Разновидности тестирования.

Отправлено автор: OVA 07 ноября 2011 - 15:23 в Про тестирование обо всём подряд

1. Гугль все еще не переплюнут.
По ссылке - нет разбивки по классификационным признакам. Получилась каша.

О да, разбивка конечно же очень поможет. Вместо беспорядочной нерелевантной ерунды будет упорядоченная нерелевантная ерунда вызывающая много вопросов касательно методов классификации.

#96666 Разновидности тестирования.

Отправлено автор: OVA 06 ноября 2011 - 18:21 в Про тестирование обо всём подряд

Я говорю что не уверен что это хороший метод. Все.

Ну то есть это примерно как начинать учить математику с изучения всей имеющейся там терминологии. Терминологию освоить может и поможет. Понять как оно работает - нет. А скорее всего только бардак в голове усилит.

#96662 Разновидности тестирования.

Отправлено автор: OVA 06 ноября 2011 - 16:05 в Про тестирование обо всём подряд

Я не уверен что пытаться собрать и упорядочить over 9000 терминов это хороший способ что-то понять.

#96660 Разновидности тестирования.

Отправлено автор: OVA 06 ноября 2011 - 14:46 в Про тестирование обо всём подряд

Тестирование скорости и надежности (load/stress/performance testing)
Тестирование опыта пользователя (usability testing)

Таки не скорости и надежности и не опыта пользователя (который вообще UX).

Но вообще:
1. Гугль все еще не переплюнут.
2. "Общество без цветовой дифференциации штанов не имеет цели. А если нет цели - нет будущего" (с). Вопрос цели все еще не понятен.

#96624 Тестирование приложения с консольным интерфейсом

Отправлено автор: OVA 04 ноября 2011 - 10:21 в Автоматизированное тестирование

Плохо читаете.

The Python unit testing framework, sometimes referred to as “PyUnit”

Вроде же одназначно написано.

Хэлпер это не про питон вообще. Это так, например: http://web.cs.wpi.ed...ng-helpers.html

#96619 Тестирование приложения с консольным интерфейсом

Отправлено автор: OVA 04 ноября 2011 - 08:28 в Автоматизированное тестирование

А вы внимательно прочитайте первые пару абзацев по каждой из приведенных вами линок - тогда поймете. :victory:

#96617 Тестирование приложения с консольным интерфейсом

Отправлено автор: OVA 04 ноября 2011 - 04:57 в Автоматизированное тестирование

Это будет нормальный конструктор, не более того. При этом если вам внезапно не понадобится более сложная логика чем вдувание predefined input'ов и сравнение с predefined-же output'ами, то никаких привязанностей толком не будет и будет очень даже компактно + еще получите всю xUnit инфраструктуру нашару. А если понадобится, то там и так и так придется громоздить.

ЗЫ: А вообще я не очень понимаю зачем питон, если делать как вы делаете. Почему не шелл скриптик сразу?

#96612 Приоритет дефекта

Отправлено автор: OVA 03 ноября 2011 - 18:13 в Управление тестированием

В первую очередь они нужны чтобы получать более качественные сборки. Все. Гарантий что ничего не поломалось они никогда не дадут.

#96587 Тестирование приложения с консольным интерфейсом

Отправлено автор: OVA 03 ноября 2011 - 10:42 в Автоматизированное тестирование

А что мешает в том же питоне на основе Pyunit наколбасить тестов? Ну прикрутить хелперов, которые выход будут разбирать, прикрутить хелперов которые будут вход собирать и вуаля. Почти те же юнит тесты в плане писанины.

#96586 Приоритет дефекта

Отправлено автор: OVA 03 ноября 2011 - 10:37 в Управление тестированием

stmark, ящетаю не стоит нам скатываться в обсуждение того чем severity от priority отличается (это уже бюрократия, а не тестирование). Тем более что по работе я с первым вообще последние года четыре практически не сталкиваюсь. Договорились что не важно кто обнаружил и ладушки.

Wolonter, тогда в чем вопрос? Надо ли править ошибки приводящие к "красной лампочке"? Или надо ли подкрутить автоматическую репортилку с CI?

#96547 Приоритет дефекта

Отправлено автор: OVA 03 ноября 2011 - 03:53 в Управление тестированием

И severity тоже не стоило. Не у всех есть. Да и заказчик понятие растяжимое. А менеджера вообще может и не быть.

Мелкая проблема найденная заказчиком это мелкая проблема. А тотальный блокер всего и вся будет блокером вне зависимости от того кто его нашел. В целом, если у вас не 100500 приоритетов для разных багов с отдельными десятью полями для титулов, бэйджей и прочих ачивок, то способ обнаружения не влияет, т.к. групп мало.

Если у вас много жалоб пользователей на какую-то проблему, которую вы считаете незначительной, то, возможно, у вас просто что-то не так с приоритетами и стоит пересмотреть не только одну эту проблему, но и аналогичные, если есть. Точно так же с заказчиком. То что заказчик чего-то не нашел, а нашли другие не должно влиять на приоритет. И vice versa. Т.е. если оно обнаружено заказчиком и это влияет на приоритет, то или вы не пытаетесь осознать нужды заказчика или кто-то прячет от него аналогичные проблемы (есть еще много вариантов, но это долго перечислять).

#96533 Приоритет дефекта

Отправлено автор: OVA 02 ноября 2011 - 15:53 в Управление тестированием

То кем оно обнаружено не важно.
Мы с Вами видимо на разных планетах живём. "Приоритет" - это менеджерское поле и если багу нашёл самый-самый главный заказчик, человек, который за всё это дело платит, то важность правки именно этого дефекта взлетает до небес.
Тут никто приорити с северети не путает?

Интересно у вас дела обстоят, если любой чих главного получает максимальный приоритет.

Giving the product owner/manager complete priority control makes the problem worse—we have gone from customer focus to customer control that further skews the balance of investing in new features versus the delivery engine.

(с) Velocity is Killing Agility by Jim Highsmith

Хотя... who cares?

#96500 Приоритет дефекта

Отправлено автор: OVA 02 ноября 2011 - 08:28 в Управление тестированием

То кем оно обнаружено не важно.
С другой стороны не очень понятно зачем пихать в CI всякую ерунду, которая не имеет значения.

#96497 Как образом можно вытащить id из куков в Jmeter

Отправлено автор: OVA 02 ноября 2011 - 08:05 в JMeter - Тестирование производительности

Чем-то напоминает старое доброе:

Здраствуйте. Я, Кирилл. Хотел бы чтобы вы сделали игру, 3Д-экшон суть такова...

#96262 Sikuli - кто-нибудь использовал?

Отправлено автор: OVA 27 октября 2011 - 03:46 в Автоматизированное тестирование

Вполне ок для ряда задач, не более того. Проблемы все те же что и у всех подобных тулов - динамические данные, сложно поддерживать сложные скрипты. Для мелких проверок более чем. Как дополнительный бонус тоже, благо можно тупо выдрать библиотечку и в тот же селениум впилить не особо напрягаясь.

#96233 Ученик QA-джедая (бесплатно научим и денег дадим)

Отправлено автор: OVA 26 октября 2011 - 10:20 в Работа/Росcия

В каком городе Академгородок? :)

Там в теме написано

#96171 Автоматизированный поиск 404 на портале.

Отправлено автор: OVA 25 октября 2011 - 09:54 в Автоматизированное тестирование

Линкчекеров тысячи. Ровно как и кастомизируемых опенсорсных кравлеров под разные нужды.
Увы, продуманных и бесплатных не так много. А уж тех, где было бы продумано не только получение первичной информации, но и хотя бы на шаг вперед - ее использование для последующих запусков пока не встречал. Буду очень благодарен, если поделитесь ссылками.
Это не говоря уже про заморочки с аяксом и файлами.
Понравилось то, что делают ребята из Яндекса (рассказывали на последнем YaC), но они пока код никуда не выложили вроде.

http://crawljax.com/

Тащемта из него идея Яндекса в какой-то мере и выросла, насколько я понял (по крайней мере когда Артем в нашу тайгу приезжал и очень болел на тему проверки верстки и т.п. бурно интересовался crawljax'ом после моего доклада об этом ништячке и мы с ним обсуждали примерно то что на YaC он потом запилил). И я даже не очень уверен что Яндекс его в какой-то мере не используют.

Более того, некий Julian Harthy уже почти год колесит с рассказами о том как они на eBay через Crawljax себе хорошего запилили.

ЗЫ: Я в принципе на досуге из него себе примус починяю, но скорее в рамках развлечений. Есичо могу порассказывать где что брать и откуда копать.

ЗЗЫ: А можно вообще не извращаться и просто Xenu скриптиками обернуть. Для ряда упомянутых задач более чем сойдет.

По типу контента

По пользователю