24.07.2017 00:00 |
Автор оригинальной статьи: Джефф Листфилд, testing.googleblog.com/2017/04/where-do-our-flaky-tests-come-from.html
Перевод: Анатолий Ализар, Habrahabr.ru (https://habrahabr.ru/post/327394/) Если тесты сбоят на ранее протестированном коде, то это явный признак того, что в коде появилась какая-то новая ошибка. Раньше тесты проходили успешно и код был правильный, сейчас тесты сбоят и код работает неправильно. Цель хорошего набора тестов заключается в том, чтобы сделать этот сигнал настолько ясным и чётко адресованным, насколько возможно. Ненадёжные (flaky), то есть недетерминированные тесты ведут себя иначе. Они могут показать как положительный, так и отрицательный результат на одном и том же коде. Другими словами, сбой теста может означать, а может и не означать появление новой проблемы. И попытка воспроизвести ошибку путём перезапуска теста на той же версии кода может привести или не привести к успешному проходу теста. Мы рассматриваем такие тесты как ненадёжные, и в конце концов они теряют свою ценность. Если изначальная проблема — это недетерминизм в рабочем коде, то игнорирование теста означает игнорирование бага в продакшне. |
Подробнее...
|
21.07.2017 15:22 |
Вышел выпуск рассылки за конец июля, его содержание доступно по ссылке.
Как всегда в выпуске рассылки собраны ссылки на новые статьи, слайдкасты, отобраны самые интересные публикации в ленте блогов и темы на форуме.
Подписаться на рассылку можно по ссылке. |
17.07.2017 18:37 |
Запись доклада Игоря Колосова со встречи QA-talk в Харькове.
- «Семь раз отмерь» — виды требований к производительности ПО. - «За водой или по воду?» — как правильно собирать требования к производительности. - «Пойди туда, не знаю, куда» — хорошие и плохие требования. - «Одинокий рейнджер» — что делать, если вы в проекте играете соло-партию и/или ответственны за сбор требований к производительности. |
Подробнее...
|
|
17.07.2017 16:22 |
Автор: Ведущий инженер по тестированию "Лаборатории качества" Ольга Панина
Оригинальная публикация: http://quality-lab.ru/key-principles-of-gray-box-testing/
Каждый начинающий тестировщик слышал о методах тестирования black-box, white-box и gray-box (методы трех «ящиков»). В сети можно найти много информации о «черном» и «белом ящиках», но статьи о методе «серого ящика» встречаются редко. Такая ситуация кажется мне не совсем справедливой, ведь многие из нас используют в работе именно эту стратегию. Я попытаюсь немного исправить сложившееся положение, подробно рассмотрев плюсы и минусы «серого ящика» по сравнению с двумя другими методами и выяснив, в каких случаях его применение будет наиболее эффективным. Тестирование «серого ящика» сочетает в себе элементы black-box и white-box тестирования, а потому я начну свой рассказ с краткой характеристики каждого из методов.
|
Подробнее...
|
18.07.2017 18:44 |
Автор: Андерс Динсен (Anders Dinsen)
Оригинал статьи: https://asym.dk/2016/12/10/playful-software-testing/
Перевод: Ольга Алифанова
Я отлично пообщался с Джессикой Инграсселино в Нью-Йорке в сентябре. Джессика руководила воркшопом по игривому тестированию в течение недели преобразований в тестировании (я читал доклад на конференции про "Тестирование – это область черных лебедей", но, к сожалению, все никак не найду времени об этом написать.
В основном мы говорили о философии.
Джессика очень разносторонне одарена: она виртуозно играет на скрипке, преподает музыку, переключилась на тестирование, выучила Пайтон, написала книгу про программирование на Пайтон для детей, и преподает Пайтон в местном колледже, а также ведет там уроки музыки.
У нее есть взгляд на то, как сделать тестирование игривым и увлекательным. |
Подробнее...
|
18.07.2017 11:29 |
Оригинальная публикация: https://habrahabr.ru/company/mobileup/blog/327416/
У каждого тестировщика рано или поздно наступает неловкий момент. Обнаружился вредный баг и его необходимо локализовать. По закону подлости баг воспроизводится нестабильно, при непонятных шагах и только на некоторых устройствах. Есть логи, но они не информативны. Разработчик занимается новой функциональностью, он не может отвлечься от текущих задач, пока не будут найдены четкие шаги воспроизведения. Менеджер ждет исправления (надо быстрее, заказчик переживает).
Как внести ясность в такой ситуации? Некуда деваться, пора разбираться, что же там происходит «под капотом» приложения. Конечно, можно перечитать всю доступную документацию для разработчиков, но вряд ли это время заложено в сроки проекта. Есть путь проще и продуктивнее: узнать у разработчика, что представляет из себя та функциональность, в которой возникает баг. |
Подробнее...
|
17.07.2017 12:12 |

Тестирование - быстроразвивающаяся область, в которой просто невозможно стоять на месте. То, что всего пару лет назад казалось нормой - уже устарело. То, что является нормой сейчас, пару лет назад ещё просто не существовало!
Именно поэтому нам, тестировщикам, так важно непрерывно развиваться, внедрять новые техники и подглядывать к коллегам: кто что внедрил? Что у них из этого получилось? Какие из решений я могу привнести в свою ежедневную практику?
Для обмена опытом, практическими решениями и наработками мы подготовили КоТэ - Онлайн Конференцию Тэстировщиков.
Вот только некоторые из причин обязательно поучаствовать в главном онлайн-событии этой осени:
Короткие доклады по существу. Никакой воды - только практика и работающие решения.
Мастер-классы с заданиями. На них вы сможете заранее ознакомиться с материалами, выполнить практические работы и получить разбор решений уже во время конференции.
Участие из любого места. Вы можете прослушать докладчиков из Москвы, Санкт-Петербурга и Иркутска, не выходя из своего любимого офиса. Или, не вставая с дивана
Конкурсы с призами. Мы подготовили конкурсы для участников конференции как до начала трансляции, так и в каждый день конференции.
Готовы быть в курсе новинок отрасли и познакомиться с самыми активными её участниками? Регистрируйтесь!
Посмотреть список докладов и мастер-классов
Посмотреть условия участия и зарегистрироваться Обсудить на форуме
|
13.07.2017 19:25 |
Участники нашего форума организовали интересный опрос о размере зарплат в области тестирования! Приглашаем принять участие всех коллег из России, Украины и Республики Беларусь. Позже обещаем поделиться статистикой.
Анкета для жителей России Анкета для жителей Украины Анкета для жителей Республики Беларусь |
13.07.2017 16:04 |
Автор: ведущий инженер по тестированию компании "Лаборатория качества" Юлия Бурматова Оригинал статьи: http://quality-lab.ru/transforming-chaos-into-order/

Проекты с идеальным порядком, к сожалению, встречаются крайне редко. Чаще всего мы сталкиваемся с хаосом разной степени беспорядочности: от «черт ногу сломит» до мелких проблем, лишь изредка дающих знать о себе (например, при появлении новых сотрудников). Но, закрывая глаза даже на совсем небольшие дефекты, мы все больше приближаемся к настоящему «апокалипсису», способному «убить» самые интересные и стабильные проекты. Все как в «теории разбитых окон»: чем чаще мы не замечаем проблемы – тем больше их становится, и тем прочнее они внедряются в нашу жизнь. Увы, по-другому не бывает. Я, как и многие другие, ни разу не видела идеальных проектов. Порой на попытки разобраться, что к чему, уходило совершенно неприличное количество времени, что сводило всю эффективность работы на нет. В этой статье я расскажу о различных оттенках хаоса, с которыми мне доводилось встречаться, а также поделюсь вариантами решения каждой из проблем. |
Подробнее...
|
12.07.2017 16:32 |

Автор: Клэр Рэклесс (Claire Reckless)
Оригинал статьи: https://dojo.ministryoftesting.com/lessons/so-what-is-software-testing
Перевод: Ольга Алифанова
Если бы вам пришлось ответить на вопрос "Что такое тестирование?", что бы вы сказали? Это понятие довольно трудно впихнуть в пару-тройку коротких предложений.
Плюс к тому многие недопонимают, что же такое тестирование, чем занимаются тестировщики – даже среди самих тестировщиков. Тестирование как навык и как профессия постоянно развивается. В этой статье мы рассматриваем, чем тестирование является, и чем нет.
Из чего состоит тестирование
Расследование
Расследование определяется как "наблюдение или изучение путем близкого наблюдения и систематического изучения" [1].
Процесс тестирования должен быть расследованием. Мы не всегда знаем, что получим на выходе, но наша задача – выяснить информацию, которая поможет людям принимать решения. Это не просто сравнение работы системы со спецификацией, где прописан ожидаемый результат. Мы должны мыслить критически, задавать сложные вопросы, рисковать, подмечать то, что на первый взгляд кажется несущественным, а при тщательном анализе оказывается важным и требующим дальнейшего изучения. |
Подробнее...
|
12.07.2017 09:17 |
Оригинал публикации:
http://bytextest.ru/2017/06/20/autotest-vs-reality/#more-5727 Большинство занимающихся тестированием хоть раз испытывали желание нажать «волшебную» кнопку и смотреть, как программа все делает сама. Все любят автоматизацию. Это быстро, надежно, позволяет оптимально использовать ресурсы за счет работы ночью и не требует вмешательства человека. Казалось бы, наконец найдено решение проблемы эффективности. Но так ли все происходит на самом деле? Ожидание №1: Можно тратить время на изучение фреймворка и тест-кейсов при автоматизации нового приложения. Реальность: Автоматизация занимает много времени, денег и, самое главное, терпения. Написание скрипта автоматизации требует от тестировщика знания сферы деятельности, автоматизации тест-кейсов и возможности выбрать соответствующий фреймворк. Автоматизация, как и разработка приложений, нуждается в тестировании. Скрипты, написанные с помощью автоматизации, необходимо тщательно проверить, используя все тестовые данные и негативное тестирование. Инструмент, не прошедший такое тестирование, приводит к ошибкам в скрипте во время работы. |
Подробнее...
|
|
|