Home

Автор: Карен Н. Джонсон (Karen N. Johnson)

Перевод: Дмитрий Дудников по заказу Software-Testing.RU

Оригинальная публикация

Регрессионное тестирование порой может быть весьма трудоёмкой задачей. Регрессионное тестирование – это тестирование, предназначенное для повторной проверки свойств приложения или продукта с целью убедиться в том, что после внесения изменений или добавления новых возможностей приложение по-прежнему работает. Уже из определения видно, что регрессионное тестирование может быть очень обширным, поскольку может потребоваться повторная проверка практически каждого свойства продукта. Как правило, регрессионные тесты – это тесты, разработанные ранее, следовательно, основная работа при регрессионном тестировании заключается не столько в создании тестов, сколько в их выполнении. Таким образом, самая первая проблема – это планирование того, что мы будем перепроверять. Итак, как же выбрать, что подвергнуть регрессионному тестированию?

Все примеры по тестированию ориентируются на форму регистрации или числовое значение. А когда тестировщик приходит на работу и видит там строковое поле, начинается ступор — как тестировать? Какие там баги могут быть?

Компания HumanFactorLabs опубликовала статью про примеры тестовых данных для тестирования... Адресов! 

Оригинальная публикация

Мы в HumanFactorLabs парсим адреса в особо крупных размерах. Наши продукты упрощают ввод контактных данных и работу с ними.
За 10 лет работы в результате анализа многочисленных исключений в российских адресах мы выработали правила хранения адресов, при соблюдении которых вы не потеряете важную информацию.

Недавно нас попросили привести примеры необычных адресов, в связи с чем и написана эта статья.

Подборку подготовила Ольга Алифанова

Все мы знаем, что баги могут ужасно досаждать. Но помимо мелких неприятностей, они также могут повлечь за собой колоссальные убытки, ущерб и даже смерть. Портал Software-Testing.ru подготовил подборку самых катастрофических багов в истории.

Авторы: Джеймс Бах, Майкл Болтон

Оригинал: http://www.satisfice.com/blog/archives/1509

Перевод: Ольга Алифанова

Изначально никто не разделял исследовательское тестирование и тестирование по сценариям. Джерри Вейнберг определяет тестирование как исследовательское по своей природе в своей книге "Основы программирования" 1961 года издания, и предостерегает от излишней формализации тестирования. "Конечно, сложно заставить машину проверять, насколько программа соответствует изначальным целям программиста, не скармливая ей достаточное количество информации об этих целях. Если бы предоставление такой информации машине было легким делом, с тем же успехом можно было бы поручать машине сам процесс программирования. Не следует забывать, что сложные логические операции выполняются путем комбинации простых инструкций, выданных компьютеру, а не в результате предположений компьютера о том, чего хотел программист", - пишет Джерри.

Джерри хорошо понимал, чем отличается человеческий труд от машинного. Однако за ним пришли формализаторы и всех запутали. Официально формализация тестирования началась в 1972 году, когда была опубликована книга "Методы тестирования приложений". Книга концентрировалась не на сути, а на форме тестирования – то есть на словах, изображениях, строках кода, файлах, таблицах, диаграммах и прочих точно определенных формах и моделях. Эти формы и модели можно увидеть, прочитать, указать на них, переместить их, сосчитать, хранить, воспроизводить,  и поэтому так прельщает возможность определить их как "тестирование". Но тестирование – это не модели и артефакты. Тестирование - это использование артефактов человеком. Артефакты тестирования без участия людей похожи на суперсовременные клиники без докторов или медицинских сестер: как минимум – практически бесполезны, как максимум – опасны для несведущих, пытающихся их использовать.

Нет, мы не виним инноваторов – им приходилось иметь дело с едва родившимися предположениями, и их ждали великие дела. Однако формализация и механизация тестирования вскоре вырвались в большой мир. Люди заговорили о "фабриках тестирования" и плохо сформулированных стандартах IEEE, и вскоре любая приличная беседа о тестировании подразумевала тестирование по сценариям. Неформальное тестирование стало синонимом непрофессионального. Мыслящие, чувствующие, общающиеся люди были задвинуты на второй план.

Джеймс Бах ввязался в этот бой в 1987 году и попытался разложить ситуацию по полочкам. Наблюдая процесс тестирования, он обнаружил, что ad hoc тестирование хорошо работает для поиска багов, а сценарное – нет (Примечание: Мы не пытаемся показать, что обнаружить это было легко и просто. Мы хотим сказать, что неочевидные истины тестирования присутствуют вокруг нас, и их можно осознать, если отложить фольклор о моделях и сценариях и присмотреться к тому, как на самом деле работают люди). Джеймс начал рассказывать о своем опыте и писать о нем. Когда он проработал тест-менеджером несколько лет (в основном тестируя компиляторы и другие инструменты разработки), до него дошла информация, что Кем Кэнер придумал термин "исследовательское тестирование" как антоним сценарного. В своей небольшой статье Кем не дал точного определения и только кратко наметил суть понятия, но он был первым, кто заговорил о создании тестов во время их исполнения.

Так появилось то, что мы называем "Исследовательским тестированием 1.0".

Доклад Сергея Высоцкого (Spotify) на конференции CodeFest 2015.

Тестирование и отладка распределенных систем это ужасно. В первую очередь потому что они сложные. Но во многом еще и потому, что в мире, где существует больше одного компьютера очень часто происходят вещи о которых многие даже не задумываются. Я в свое время был немало удивлен увидев как ряд популярных FOSS (Free and OpenSource software) продуктов реагирует на Network Split. К счастью это все можно сильно упростить немного развив концепции применяемые в других областях тестирования.

Павел Новик, ЗАО «Технологии качества», бренд A1QA

Ну что еще нового можно прочесть о дефектах, ошибках в программном обеспечении? Наверняка Вы думаете, что все уже сказано: как описывать дефекты, каков их стандартный жизненный цикл, ну и, конечно же, как их находить и исправлять.

Однако, все не так просто, как может показаться на первый взгляд.

I. Непроста и неказиста жизнь рядового программиста тестировщика.

Для начала давайте порассуждаем о нашей ежедневной работе и вспомним о тех проблемах, с которыми мы постоянно сталкиваемся. Во-первых, представьте, что дефект найден и успешно зарегистрирован в баг-трекерной системе. Вы столкнулись с данным дефектом, читаете его описание и… не понимаете, о чём все это. Вторая, не менее часто встречающаяся проблема, – плохо описанные дефекты, поступающие от пользователей либо заказчиков, а также бета-тестировщиков. Иногда сложно угадать, что именно пользователь имел ввиду под туманными описаниями типа «я нажал кнопку и приложение «упало», или «ваше приложение не устанавливается». Ну и последний по порядку, но не по значимости, ребус – Вы знаете, что дефект есть, но не можете его локализовать (воспроизвести по точным шагам).

Что же делать со всеми приведёнными проблемами? Наверняка многие из Вас задумывались о возможном решении или предотвращении каждой из них.

Запись доклада Сергея Атрощенкова с онлайн-конференции Fun ConfeT&QA, весна 2012 года.

Вы возможно сталкивались с тем, что надо бы писать тесты или хочется тестировать, аж тестировщицкие трубы горят. Но требований нет. Концепта приложения – нет. Аналитиков – нет.

Если программисты могут описывать бизнес-логику, то и у нас есть богатство выбора, чем же заняться:

• Беседовать с заказчиком до потери пульса… Простите, до окончательного уточнения требований.
• Писать тесты для бизнес логики.
• Готовить тестовое окружение.
• Помочь заказчику и программистам найти общий язык и выработать совместное видение проекта.

И именно о 4м пункте я и расскажу.

На помощь, в этой задаче, к нам приходят макеты (концепт-скрины, если угодно). Для обсуждения названий контролов, для обсуждения того, что и на какую форму приложения необходимо поместить – это хорошая помощь. И, бывает так, что макет влияет на бизнес-логику: когда заказчик увидит прототипы, может оказаться, что его видение Кунг-фу вовсе не подразумевало ленивого медведя в роли Мастера…

Примеры создания макетов будут демонстрироваться с использованием инструмента Balsamiq.

SQL для тестировщиков – это такая вещь в себе. Все знают, что SQL тестировщикам нужен, но никто не знает зачем. Вернее, есть такие люди, которые знают, ведь не зря в двух вакансиях из трех знание SQL идет отдельной строкой. Но эти знающие люди будто находятся в каком-то тайном клубе. «Первое правило клуба знающих о том, зачем тестировщику SQL – не говорить о клубе знающих о том,…»

Информацию из первых уст приходилось собирать по крупицам, подчас выступая неплохим таким археологом. Например, ещё в далеком 2006 году просвещенные знали не только о том, зачем SQL тестировщику, но и пытались найти способы автоматизации тестирования SQL.

После чего – затишье аж до 2011 года, когда ещё один участник клуба «знающих» завел беседу на тему того, что же должен знать тестировщик и зачем.

А дальше утечка информации пошла более интенсивно и всё новые и новые тестировщики постигали сакральное знание: что же такое SQL и зачем оно нам? Появлялись новые темы на форуме, появлялись новые статьи в блогах: http://vestfalka.blogspot.nl/2013/03/test-it-sql.html и http://vestfalka.blogspot.nl/2013/03/7-sql-server.html.

Что самое приятное, сейчас вопрос о том зачем же нужен SQL в тестировании уже не возникает, а если и возникает – то ответов на него очень много, всегда можно найти такой, который подойдет именно тебе.

У нас на портале тоже был курс SQL для тестировщиков. Мы не стоим на месте, наши курсы растут и развиваются вместе с нами, мы всегда прислушиваемся к мнению наших учеников. Вот и курс SQL для тестировщиков рос-рос, сначала из маленького 4-лекционного стал большим 6-лекционным, а теперь и вовсе разделился на два, в полном соответствии с пожеланиями тех, кому «вот тут непонятно, давайте ещё раз пройдемся» (http://software-testing.ru/trainings/schedule?task=3&cid=230), и тех, кому «давайте без воды и ещё про триггеры расскажите!» (http://software-testing.ru/trainings/schedule?&task=3&cid=96).

Не знаете к какому курсу присоединиться? Не беда! Специально для Вас мы создали тест: http://software-testing.ru/lms/course/view.php?id=180 для определения Вашего уровня подготовки в SQL. На основании полученных результатов Вы сможете принять взвешенное решение. Попасть в опросник можно с использованием тех же логина и пароля, которые используются для входа на форум.

Только помните: первое правило клуба знающих SQL – никому не говорить о клубе знающих SQL!

Доклад Рины Ужевко с онлайн-встречи, приуроченной к Дню тестировщика 2014.

Каждый геймер мечтает работать в играх. У Рины мечта сбылась — она оказалась по ту сторону виртуальности и готова приоткрыть нам завесу тайны: как происходит процесс создания игры? как тестируется самая сложная механика -  баланс? Она расскажет не только про опыт взаимодействия с пользователями, но и много другого интересного. А ещё будет немного практики. Готовы тестировать игры? :)

Запись доклада Павла Абдюшева на онлайн-конференции Fun ConfeT&QA, весна 2012.

Часто в форуме появляются вопросы, которые обобщенно звучат так: «Есть фича. Помогите протестировать», без уточнения контекста использования. В итоге набирается некоторый набор позитивных и негативных кейсов, проверяющий, что конкретная функция работает, так называемый, чит-шит. Основной акцент в таких кейсах, как правило, делается на проверку ввода через пользовательский интерфейс и обработки разный значений с учетом используемых технологий.

Но можно ли считать, что выполнив этот набор кейсов, фича будет хорошо протестирована?

Увы, часто получающийся набор проверяет рабостоспособность функционала лишь с технической точки зрения (и фактически может быть заавтоматизирован), но не учитывает взаимодействие этого функционала с остальными частями системы. И если ограничить тестирование лишь этими проверками, то не будет получен ответ на такой важный вопрос, как «решает ли данный функционал проблему пользователя?».

В докладе на примере тестирования поиска будет показано, как можно дополнить технические тест-кейсы, анализируя функционал с разных точек зрения: цели пользователя, взаимодействие с остальными частями системы, настройки по умолчанию. Такой анализ помогает не только более полно протестировать функционал, но и выступить с предложениями по его улучшению.