Сообщений в теме: 31

[Case]

Тестирование ПО - с чего начать?
Алексей Лемешко

Этой статьей я хотел бы описать своё понимание тестирования программного обеспечения - процесса не тривиального, как мне всегда казалось, и, я даже не мог себе представить, весьма интересного.

Меня всегда интересовало, что такое тестирование ПО. Зачем нанимать кого-то для тестирования программного продукта, если разработчик и сам может потратить пару часов на такой не значительный по приоритету таск. И, наконец-то, зачем вообще тестировать? Ведь программисты ребята умные - пишут правильно. Но...

Читать полностью: http://software-test...first-steps.htm

[Лена]

По-моему, статья слабоватая. Только для самых_начинающих тестировщиков.
Во-первых, для того, чтобы "проверить, что программа правильно работает с корректными данными", есть специальный термин - "позитивный подход к тестированию", для противоположного подхода - "негативный".
Во-вторых, тестирование первым делом предполагает изучение спецификации, иначе тыкаться просто так смысла не имеет. Другое дело, если ее (спецификации) нет, это уже близко к экстриму, тут тестировщик вообще мало за что отвечает.
Об орфографических ошибках, как я понимаю, не упоминать?

[Clauster]

И, как не странно, ломалось :). Постился баг, и очередной день считался прожитым не зря.

Ну что это такое? Что за слова? "Постился", "спека", "девелоперы" и т.д., смайлики какие-то. Стилистика вообще на нуле. Статьёй это назвать нельзя, это, скорее пометки на полях какие-то. Даже здесь, в форуме, редко так пишут.

[barancev]

Слабая статья.

1. Информационная насыщенность низкая, много воды, первые шесть абзацев -- просто одна вода.

2. Нет конца.

3. Никакого обоснования высказанных идей. Почему "позитивное" тестирование должно предшестововать "негативному"? (отвечать не надо, я знаю ответ на этот вопрос :) )

4. Тема не раскрыта. Почему статья называется "с чего начать"? Так с чего же начать?

5. Нет ответов на поставленные в начале статьи вопросы (именно поэтому я счел их "водой") "Меня всегда интересовало, что такое тестирование ПО. Зачем нанимать кого-то для тестирования программного продукта, если разработчик и сам может потратить пару часов на такой не значительный по приоритету таск. И, наконец-то, зачем вообще тестировать? Ведь программисты ребята умные — пишут правильно. Но..." И что же "но"?

[lelichek]

По-моему, статья слабоватая. Только для самых_начинающих тестировщиков.

Для таких и писалась + она писалась для того, чтоб хоть как-то формализировать свои знания.

Во-первых, для того, чтобы "проверить, что программа правильно работает с корректными данными", есть специальный термин - "позитивный подход к тестированию", для противоположного подхода - "негативный".

Писал я статью для новичков, коим и сам являюсь :) Перегружать терминами не хотелось (тем более что я сам не знал ничего о таких названиях)

Во-вторых, тестирование первым делом предполагает изучение спецификации, иначе тыкаться просто так смысла не имеет. Другое дело, если ее (спецификации) нет, это уже близко к экстриму, тут тестировщик вообще мало за что отвечает.

Согласен, но, повторюсь, писалась статья для таких как я. Основыным лейб мотивом статьи было желание доказать новичкам, что бояться тут нечего, а просто стоит внимательно все изучить (включая спеку).

Об орфографических ошибках, как я понимаю, не упоминать?

[lelichek]

Ну что это такое? Что за слова? "Постился", "спека", "девелоперы" и т.д., смайлики какие-то. Стилистика вообще на нуле. Статьёй это назвать нельзя, это, скорее пометки на полях какие-то. Даже здесь, в форуме, редко так пишут.

Редко пишут - замечательно, но, как я понимаю, общаетесь Вы с сотрудниками и коллеками не словами "пиши/отправляй", "спецификация", "разработчики". Поэтому так и писалось в статье.

Приношу свои извенения за подобные выражения в статье, если же Вы пользуетесь в беседе исключительно русским языком и его нормативной лексикой :)

[lelichek]

Слабая статья.
1. Информационная насыщенность низкая, много воды, первые шесть абзацев -- просто одна вода.
2. Нет конца.

Это не вода, а вступление. Именно отсутствие "кульминации и развязки" наталкивает Вас на мысль, что это вода.

3. Никакого обоснования высказанных идей. Почему "позитивное" тестирование должно предшестововать "негативному"? (отвечать не надо, я знаю ответ на этот вопрос :) )

Как мне кажется, если дымовое тестирование прошло, то это и есть "позитивное". А с дымового и надо начинать.
Был бы очень признателен за разьяснения на тему "Почему?".

4. Тема не раскрыта. Почему статья называется "с чего начать"? Так с чего же начать?

С самого начала :)
Согласен с Вами полностью, что с чего начать в статье не указано, однако, название было поменяно в последний момент. А текст поправить не додумался :)

5. Нет ответов на поставленные в начале статьи вопросы (именно поэтому я счел их "водой") "Меня всегда интересовало, что такое тестирование ПО. Зачем нанимать кого-то для тестирования программного продукта, если разработчик и сам может потратить пару часов на такой не значительный по приоритету таск. И, наконец-то, зачем вообще тестировать? Ведь программисты ребята умные — пишут правильно. Но..." И что же "но"?

НО... не все так просто, как мне казалось.

[lelichek]

Всем спасибо за критику. Статья "смоки" не прошла. Выкатка версии отменяется и отправляется на доработку :)

[barancev]

Как мне кажется, если дымовое тестирование прошло, то это и есть "позитивное". А с дымового и надо начинать.
Был бы очень признателен за разьяснения на тему "Почему?".

Нет, "дымовое" тестирование это не то же самое, что "позитивное" тестирование. Эти два понятия вообще на разных осях координат живут.

"Дымовое" тестирование -- это быстрое, неглубокое, на наиболее простых или типичных сценариях, с минимумом проверок (чтобы только дыма не было). Оно может выполняться как на "позитивных", так и на "негативных" данных.

"Позитивное" тестирование -- это тестирование на данных или сценариях, которые соответствуют нормальному (штатному) поведению тестируемой системы. Основной целью "позитивного" тестирования является проверка того, что при помощи системы можно делать то, для чего она создавалась.

Противоположностью "позитивному" является "негативное" тестирование. Это тестирование на данных или сценариях, которые соответствуют нештатному поведению тестируемой системы -- различные сообщения об ошибках, исключительные ситуации, "запредельные" состояния и т.п. Основной целью "негативного" тестирования является проверка устойчивости системы к различного рода воздействиям.

Почему "позитивное" тестирование является на порядок более важным, чем "негативное"?

Предположим, что система не слишком устойчива к "плохим" вводимым данным. Это страшно? Не слишком. Пользователи рано или поздно научатся обходить подводные камни, не будут делать опасные действия, служба технической поддержки скоро запкомнит, какие проблемы обычно возникают у пользователей и будет давать советы типа "ни в коем случае не оставляйте это поле пустым, а то...". Короче, нормальная жизнь.

Но -- всего этого не будет ВООБЩЕ, если система не выполняет свое основное предназначение, если пользователи не могут решить свои бизнес-задачи, если они все делают правильно, вводят хорошие данные, но не получают результата. И посоветовать им ничего в этой ситуации нельзя. И они уходят...

Именно поэтому "позитивное" тестирование гораздо, гораздо важнее "негативного". Ошибки в нормальном поведении, мешающие пользователям выполнять бизнес-задачи обходятся в разы дороже, чем редкие падения системы, связанные с тем, что кто-то ввел некорректные данные. Его накажут и больше он не будет так делать :)

Впрочем, это не означает, что "негативными" тестами можно пренебречь. Во-первых, не на всех этапах жизненного цикла ПО приоритеты ценностей сохраняются неизменными. Посмотрите, например, вот эту статью Джоанны Ротман: What Does Success Look Like?/ Во-вторых, есть такая большая область как тестирование безопасности. Но я не собираюсь в нее вторгаться, я говорю только о тестировании функциональности.

5. Нет ответов на поставленные в начале статьи вопросы (именно поэтому я счел их "водой") "Меня всегда интересовало, что такое тестирование ПО. Зачем нанимать кого-то для тестирования программного продукта, если разработчик и сам может потратить пару часов на такой не значительный по приоритету таск. И, наконец-то, зачем вообще тестировать? Ведь программисты ребята умные — пишут правильно. Но..." И что же "но"?

НО... не все так просто, как мне казалось.

И как же именно непросто? Судя по статье, все как раз очень просто. Я, например, не понял из нее, зачем же "нанимать кого-то для тестирования, если разработчик и сам может потратить пару часов на такой не значительный по приоритету таск". Тем более, что "сколько не гоняй тесты баги все равно выплывают" (цитата из статьи). И разработчики тоже не лохи, они едят и спят со спецификациями в руках. Так что тот факт, что тестировщик догадался взять в руки спецификацию, может вызвать у них только снисходительную ухмылку. Так как же именно все непросто? Где интрига? Нет интриги.

[lelichek]

Спасибо, понял.
Хотел бы Вас попросить, прочесть статью ПЕРЕД тем, как она будет выложена. Я имею ввиду исправленый вариант

[barancev]

Спасибо, понял.
Хотел бы Вас попросить, прочесть статью ПЕРЕД тем, как она будет выложена. Я имею ввиду исправленый вариант

Конечно, давайте!

Я Вячеславу давно уже предлагаю, чтобы статьи перед публикацией проходили через руки редактора к толстым красным карандашом (у проекта пять консультантов, должна же быть от них какая-то польза!), но он боится, что авторы тогда испугаются и вообще перестанут писать. Вячеслав -- вот наглядный пример обратного!

[Dmitry_NJ]

Редко пишут - замечательно, но, как я понимаю, общаетесь Вы с сотрудниками и коллеками не словами "пиши/отправляй", "спецификация", "разработчики". Поэтому так и писалось в статье.

Дело в том, что живой разговорный язык и письменный стиль это не одно и то же. Тот факт, что в разговорной речи часто употребляются разнообразные неологизмы и жаргонизмы, никоим образом не может служить оправданием использования их на письме (если только речь не идет о художественной литературе, где подобное может быть уместно для придания реалистичности диалогам персонажей).

[barancev]

Кстати, не надо нас называть "коллеками", а то так недалеко и до "калек" :)

А "лейб" -- это значит "придворный, состоящий при монархе", так что давайте лучше говорить о лейтмотиве статьи, а то "лейб мотивы" напоминают мне о каких-то придворных музыкантах и исполняемых ими гимнах :)

[Лена]

А что по поводу орфографических ошибок-то?

[barancev]

А что по поводу орфографических ошибок-то?

Вы же сами предложили о них не упоминать :)

[Clauster]

Редко пишут - замечательно, но, как я понимаю, общаетесь Вы с сотрудниками и коллеками не словами "пиши/отправляй", "спецификация", "разработчики". Поэтому так и писалось в статье.

Приношу свои извенения за подобные выражения в статье, если же Вы пользуетесь в беседе исключительно русским языком и его нормативной лексикой :)

Во-первых, слово "извИните" пишется через "И".
Ваш сарказм здесь не понятен. Вы что, ПТУ окончили? Представьте себе, я использую нормативную лексику, потому что у нас, среди сотрудников, есть девушки. Да, и в общении с коллегами, стараюсь использовать правильную терминологию. Представьте, например, ситуацию - приходит на собеседование кандидат (ну, или вы приходите устраиваться на работу) и начинает: вместо компьютера -тачка, вместо спецификации - спека, руководитель проекта - ПМ, доки, баги, проги, клавы и т.д. Таких кандидатов обычно берут сисадминами на 300 у.е. Скорее всего, у вас ещё мало опыта, желаю удачи.

[Рысяка]

А я думала в статье конкретика будет:о( малова-то как то написано, может стоит продолжить ее?

[Case]

Вячеслав -- вот наглядный пример обратного!

Алексей, этот случай - исключение из правил. Сработало только потому, что автор сидит в пределах досягаемости (можно в него чем-то кинуть) и во время очередного перекура... пардон! рабочего совещания был подвергнут специальной редакторской обработке. Я читал материал ещё до того как он попал в редакцию и сознательно его пропустил - захочет автор переписать материал, перепишет, не захочет, снимем.

Я несколько раз напарывался на ситуации когда редакторские замечания наталкиваются на жесткий уход автора в себя. Нескольких авторов не удалось вернуть после первых слов о редактировании, то есть были случаи когда перед сотрудничеством уточнял про редактирование материалов и автор говорил "спасибо-всего доброго". Кстати потом ещё в ЖЖ забавные вещи о себе читал - мол не даю людям писать, давлю авторитетом, пользуюсь редакторским положенеим и так далее.

Что до редактирования материалов и привлечения косультантов в принципе - Алексей, что не работает-то? Вот материал, вот автор, вот вы. Тема в форуме создаётся именно для обсуждений материалов. Заявлена критика, автор её воспринял и взялся за переработку - по моему всё сработало. Проект у нас он-лайновый - выложить обновлённую версию не проблема, пустить её в анонс тоже. Мы ведь не журнал, где публикация означает финальную точку. Хотя ожно говорить про более активное использование Блогов при написании статей, но что-то я пока не наблюдаю этой тенденции - а задать пример никак не соберусь со временем.

[barancev]

Я несколько раз напарывался на ситуации когда редакторские замечания наталкиваются на жесткий уход автора в себя. Нескольких авторов не удалось вернуть после первых слов о редактировании, то есть были случаи когда перед сотрудничеством уточнял про редактирование материалов и автор говорил "спасибо-всего доброго". Кстати потом ещё в ЖЖ забавные вещи о себе читал    - мол не даю людям писать, давлю авторитетом, пользуюсь редакторским положенеим и так далее.

Да... Как-то это не соотносится с моим мировоззрением. Писать без редактуры, стараясь избежать критики -- это графоманство какое-то, можно просто поорать в пустую бочку. Это же технические тексты, а не художественные. По-моему, самое ценное, что они могут принести -- это именно критика, обратная связь, которую можно использовать для того, чтобы продвинуться дальше за счет чужих мыслей (не то, чтобы своих не хватает, но все-таки...). А редактор -- это супер-читатель. Во-первых, он заинтересованное лицо и по своему положению он просто обязан предоставить эту обратную связь (после этого, если редактор хороший, можно уже и не публиковать -- ничего нового не услышишь :)). Во-вторых, редактор, опять таки в силу своего положения, обязан вести себя корректно, поэтому редактура -- это защита от лишней критики со стороны недоброжелательно настроенных читателей. Наконец, редактор -- это бескорыстный соавтор де-факто, который не лезет в соавторы де-юро, где вы еще такого найдете? Короче, я, видимо, чего не понимаю.

[EL_GE]

С моей точки зрения статьи обязательно должны проходить через руки редактора. Объясняю почему:
нередко бывает, когда начинающий тестировщик пишет для таких же как сам "начинающих" с благородной целью - дабы помочь.

Если автор, допустим не до конца разобрался в какой-либо теме или в каком-либо вопросе, и изложил информацию в точки зрения своего понимания, то ,если это "понимание" оказалось в корне неверным, автор введет в заблуждение читающего (начинающего тестировщика) его статью и воспринимающего ее за "чистую монету". Это на самом деле ПЛОХО. У начинающего тестировщика, прочитавшего статью, складывается следующия логическая цепочка (сужу по себе): раз эту статью опубликовали на таком сайте, посвященном тестированию, то значит эту статью писали соображающие в этом деле люди => эту статью следует рассматривать как Истину, что так оно и должно быть, а на самом деле может получится обратное. Можно так запутаться в информации, что потом не разберешь: где Истина, а где Ложь. Поэтому, я за редактирование. И не надо этого бояться! Это мне кажется наооборот полезно, когда тебе указывают на твои ошибки и заставляют их исправлять.

Все, что я написал выше - это сугубо мое мнение. С ним можно согласиться или не согласится.

Прошу автору опубликованной статьи на меня сильно не обижаться.