Перейти к содержимому

Фотография

Организация автотестирования в компании: лучшие практики?

best practices

  • Авторизуйтесь для ответа в теме
Сообщений в теме: 17

#1 alex_spiridonov

alex_spiridonov

    Новый участник

  • Members
  • Pip
  • 6 сообщений
  • ФИО:Спиридонов Алексей

Отправлено 09 января 2017 - 15:28

Добрый день!

 

У меня вопрос самого верхнего уровня: как "хорошо" организовать использование автотестов в компании?

У нас есть некоторая практика, есть отдел автотестеров, который занимается уже даже не один год.

Но как-то назрело понимание, что "что-то не так".

 

Недавно прошла реорганизация и сейчас устроено примерно следующим образом.

Разработка ведётся отдельными командами, отвечающими, скажем, за бизнес-направления. И ручные тестировщики, например, являются членами команд. Раньше был обособленный отдел - расформировали, людей раздали в команды. Всем нравится. Автоматизаторы пока остались собственным отделом и "обслуживают" остальные команды по мере запросов и возможностей.

Всё это запутано и тяжеловесно (как любое межкомандное взаимодействие тяжелее внутрикомандного). Но исторически так.

 

Хочется попробовать всё поменять в лучшую сторону.

 

Но вопрос: какая она эта лучшая сторона? Как это всё организовать? Кто решает, какие тесты надо писать, кто их пишет, кто отвечает за их поддержку и т.п.?

 

Техническая сторона пока неважна: есть некоторый опыт и практика и пока это устраивает. Хочется разобраться с организационными вопросами.

 

Поделитесь, пожалуйста, своими лучшими практиками. Если у вас в компании используется автоматическое тестирование и вам нравится как всё сделано организационно (или вы знаете, как должно быть хорошо) - расскажите, пожалуйста.

 

Ну или хотя бы ссылки на описание чего-то потрясающего или просто хорошего.

 

 

Всем заранее спасибо!

 

p.s. Просьба модераторам, если я ошибся разделом - перенесите куда надо, пожалуйста.

 


  • 0

#2 Spock

Spock

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 09 января 2017 - 16:04

для начала можно прочитать книжку Как тестируют в Гугле, понимание придёт сразу


  • 1

#3 alex_spiridonov

alex_spiridonov

    Новый участник

  • Members
  • Pip
  • 6 сообщений
  • ФИО:Спиридонов Алексей

Отправлено 10 января 2017 - 07:58

для начала можно прочитать книжку Как тестируют в Гугле, понимание придёт сразу

спасибо, начал читать. Книга уже пять лет, насколько я понял, что-нибудь интересное с тех пор выходило? Что ещё стоит прочитать?


  • 0

#4 Little_CJIOH

Little_CJIOH

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 515 сообщений
  • ФИО:Власкин Павел
  • Город:Санкт-Петербург


Отправлено 10 января 2017 - 09:05

Главное не пропустить в этой книге фразу что брать надо принципы, а не практики.

 

А вообще, послушайте специалистов вроде Антона Семенченко, которые рассуждают как раз о принципах, а не рассказывают очередную success story.
На предпоследнем SQADays он был прекрасен.


  • 1

#5 SALar

SALar

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 2 298 сообщений
  • Город:Москва


Отправлено 10 января 2017 - 09:47

для начала можно прочитать книжку Как тестируют в Гугле, понимание придёт сразу

Не надо.

 

 

- Брось бяку, - не открывая глаз, твердо сказала Соня. - Брось, брось.
- Но это же…
- Что, это? Такое впечатление, что весь опыт мировой индустрии по разработке ПО прошел мимо сотрудников Google. - И, помолчав, Соня добавила: - По крайней мере, мимо тех, кто писал книгу.
- А как же отзывы? У этой книги куча отличных отзывов.
- Чтобы отличить макулатуру от литературы, нужно иметь довольно много опыта в отсеивании хлама. Еще немного прокачаешься на хороших книгах и сможешь искать ошибки в халтуре. А пока читай хорошие книги.

 

http://blog.shumoos.com/archives/323


  • 0

-- 

Сергей Мартыненко

Блог 255 ступеней (байки для оруженосца)

facebook (Дети диаграммы Ганта)

ВебПосиделки клуба имени Френсиса Бэкона 

 


#6 Spock

Spock

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 10 января 2017 - 09:56

 

для начала можно прочитать книжку Как тестируют в Гугле, понимание придёт сразу

Не надо.

а аргументы будут?


  • 0

#7 alex_spiridonov

alex_spiridonov

    Новый участник

  • Members
  • Pip
  • 6 сообщений
  • ФИО:Спиридонов Алексей

Отправлено 10 января 2017 - 10:49

 

для начала можно прочитать книжку Как тестируют в Гугле, понимание придёт сразу

Не надо.

 

 

- Брось бяку, - не открывая глаз, твердо сказала Соня. - Брось, брось.
- Но это же…
- Что, это? Такое впечатление, что весь опыт мировой индустрии по разработке ПО прошел мимо сотрудников Google. - И, помолчав, Соня добавила: - По крайней мере, мимо тех, кто писал книгу.
- А как же отзывы? У этой книги куча отличных отзывов.
- Чтобы отличить макулатуру от литературы, нужно иметь довольно много опыта в отсеивании хлама. Еще немного прокачаешься на хороших книгах и сможешь искать ошибки в халтуре. А пока читай хорошие книги.

 

http://blog.shumoos.com/archives/323

 

а можете что-нибудь посоветовать, что стоит прочитать?


  • 0

#8 alex_spiridonov

alex_spiridonov

    Новый участник

  • Members
  • Pip
  • 6 сообщений
  • ФИО:Спиридонов Алексей

Отправлено 10 января 2017 - 10:51

Главное не пропустить в этой книге фразу что брать надо принципы, а не практики.

 

А вообще, послушайте специалистов вроде Антона Семенченко, которые рассуждают как раз о принципах, а не рассказывают очередную success story.
На предпоследнем SQADays он был прекрасен.

Спасибо, Семенченко послушаю.


  • 0

#9 baxatob

baxatob

    Опытный участник

  • Members
  • PipPipPipPip
  • 258 сообщений
  • ФИО:Юрий
  • Город:Riga

Отправлено 10 января 2017 - 11:17

Вы ж самое главное не сказали - сколько человек занимается разработкой, сколько тестированием, сколько одновременно продуктов в разработке и т.п. Не думаю, что опыт Гугла можно одинаково хорошо применять в Гугле и команде, например, из 10 человек.

 

Имхо нужно отсюда отталкиваться:

 

 

Но как-то назрело понимание, что "что-то не так"

Что именно тревожит? :)


  • 0

#10 SALar

SALar

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 2 298 сообщений
  • Город:Москва


Отправлено 10 января 2017 - 12:04

 

 

для начала можно прочитать книжку Как тестируют в Гугле, понимание придёт сразу

Не надо.

 

 

- Брось бяку, - не открывая глаз, твердо сказала Соня. - Брось, брось.
- Но это же…
- Что, это? Такое впечатление, что весь опыт мировой индустрии по разработке ПО прошел мимо сотрудников Google. - И, помолчав, Соня добавила: - По крайней мере, мимо тех, кто писал книгу.
- А как же отзывы? У этой книги куча отличных отзывов.
- Чтобы отличить макулатуру от литературы, нужно иметь довольно много опыта в отсеивании хлама. Еще немного прокачаешься на хороших книгах и сможешь искать ошибки в халтуре. А пока читай хорошие книги.

 

http://blog.shumoos.com/archives/323

 

а можете что-нибудь посоветовать, что стоит прочитать?

 

Старый список: http://www.uml2.ru/f...hp?topic=4670.0

Есть поновее... Толку то. Вы все равно не будете читать.


  • 1

-- 

Сергей Мартыненко

Блог 255 ступеней (байки для оруженосца)

facebook (Дети диаграммы Ганта)

ВебПосиделки клуба имени Френсиса Бэкона 

 


#11 Spock

Spock

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 10 января 2017 - 13:59

да, помнится в книжке про Гугл бесили такие моменты типа:

 

"Система баг-тракинга? Да мы просто вот взяли кинули кучу программистов и они нам сделали свой собственный баг-тракинг!"

"Система контроля исходного кода? Ну и тут мы кинули кучу ресурсов и на выходе получили свою собственную систему, лучше всех!"

"Системы автоматизации тестирования? Ну и тут то же самое!"

"Системы фидбека пользователей? Да, и тут опять всё своё, у нас же куча ресурсов!"

"Системы ... ? Да у нас стопятьсот машин в облаке запущено и всё вертится, у нас же куча денег!"

"Распознавание DOM для автотестов? Догадайтесь с 3х раз! Мы богаты, заказали и наши программисты всё сделали!"

"А как же системы ... ? Да уже не спрашивайте, понятно всё сами сделали, и системы контроля зависимостей, и билд серверы, и трататата, и всё остальное! у нас денег куры не клюют!"

 

ну понятно что практически никакой практической пользы нет от таких вот ответов, у большинства просто нет столько ресурсов


  • 0

#12 Little_CJIOH

Little_CJIOH

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 515 сообщений
  • ФИО:Власкин Павел
  • Город:Санкт-Петербург


Отправлено 10 января 2017 - 15:17

Эти вопросы решаются не только и не столько ресурсами, сколько долгосрочным  планированием и продуманными архитектурой и процессами.
Гугл это все строил не один год.
И если кто-то не вкладывается в развитие, то гугл тут не при чем.
  • 0

#13 Little_CJIOH

Little_CJIOH

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 515 сообщений
  • ФИО:Власкин Павел
  • Город:Санкт-Петербург


Отправлено 11 января 2017 - 10:20

http://blog.shumoos.com/archives/323

а можете что-нибудь посоветовать, что стоит прочитать?

http://blog.shumoos.com/archives/272 тоже, кстати хорошо.
Лично я рекомендую весь блог для сквозного прочтения. Много интересных мыслей, до которых своей головой еще думать и думать.
  • 0

#14 Spock

Spock

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 11 января 2017 - 12:38

по статье из предыдущего поста:
{пишет.???; когда.до кода; выполняет.не важно; интерфейс.API}
{пишет.???; когда.после кода; выполняет.не важно; интерфейс.API}
 
да, такие тесты наиболее ценные, особенно если интерфейс REST или что-то подобное. Главное чтобы этот интерфейс у приложения был (ну или чтобы появился)
 
и если таких тестов будет 80%, а остальные 20% это end-to-end через UI, то будет отличная пропорция

  • 0

#15 alex_spiridonov

alex_spiridonov

    Новый участник

  • Members
  • Pip
  • 6 сообщений
  • ФИО:Спиридонов Алексей

Отправлено 11 января 2017 - 15:04

 

 

 

для начала можно прочитать книжку Как тестируют в Гугле, понимание придёт сразу

Не надо.

 

 

- Брось бяку, - не открывая глаз, твердо сказала Соня. - Брось, брось.
- Но это же…
- Что, это? Такое впечатление, что весь опыт мировой индустрии по разработке ПО прошел мимо сотрудников Google. - И, помолчав, Соня добавила: - По крайней мере, мимо тех, кто писал книгу.
- А как же отзывы? У этой книги куча отличных отзывов.
- Чтобы отличить макулатуру от литературы, нужно иметь довольно много опыта в отсеивании хлама. Еще немного прокачаешься на хороших книгах и сможешь искать ошибки в халтуре. А пока читай хорошие книги.

 

http://blog.shumoos.com/archives/323

 

а можете что-нибудь посоветовать, что стоит прочитать?

 

Старый список: http://www.uml2.ru/f...hp?topic=4670.0

Есть поновее... Толку то. Вы все равно не будете читать.

 

в указанном списке по тестированию к прочтению с важностью 42 (вторая категория) отмечены две книги, одна из которых на уровень ha. Первой категории нет вовсе, остальные не отмечены Получается, что начинать надо с Сэма Канера и Ко?

2618296f79.png

 

Посмотрел книги первой категории (7) - есть ещё Андрей Орлов "Записки автоматизатора". Это по этой теме?


  • 0

#16 alex_spiridonov

alex_spiridonov

    Новый участник

  • Members
  • Pip
  • 6 сообщений
  • ФИО:Спиридонов Алексей

Отправлено 11 января 2017 - 15:11

Вы ж самое главное не сказали - сколько человек занимается разработкой, сколько тестированием, сколько одновременно продуктов в разработке и т.п. Не думаю, что опыт Гугла можно одинаково хорошо применять в Гугле и команде, например, из 10 человек.

 

Имхо нужно отсюда отталкиваться:

 

 

Но как-то назрело понимание, что "что-то не так"

Что именно тревожит? :)

 

Сопровождаем большой продукт (компания построена вокруг одного продукта).

Пул разработчиков разбит на шесть команд, за которыми закреплены те или иные направления. Размерность команд: 4-8 человек. В составе: программисты и "ручные" тестировщики (обычно 1-2).

Есть отдельная команда, которая занимается написанием и сопровождением автоматических тестов (5 человек).

 

Кажется, что можно сделать лучше. Конкретные тревоги и ожидания будем собирать со всех заинтересованных лиц в ближайшие дни.

Мы недавно провели реогранизацию управления и в целом процесса разработки, получилось неплохо. Только автоматизаторов никак не задело, вот сейчас думаем, что с ними делать (и надо ли делать).

Поэтому хочется посмотреть лучшие практики, рекомендации, правила и попробовать приложить их к нашей компании


  • 0

#17 SALar

SALar

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 2 298 сообщений
  • Город:Москва


Отправлено 11 января 2017 - 16:51

 

 

Посмотрел книги первой категории (7) - есть ещё Андрей Орлов "Записки автоматизатора". Это по этой теме?

 

Не совсем, но это надо читать. Если вы хотите добраться до нормального уровня тестировщика. Обязательно.


  • 0

-- 

Сергей Мартыненко

Блог 255 ступеней (байки для оруженосца)

facebook (Дети диаграммы Ганта)

ВебПосиделки клуба имени Френсиса Бэкона 

 


#18 SALar

SALar

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 2 298 сообщений
  • Город:Москва


Отправлено 12 января 2017 - 08:54

"Записки автоматизатора" в дальнейшем позволят вам выйти на стратегию "мне не нужна программа чтобы писать дефекты, я знаю этих программистов, я знаю, какие ошибки они делают."

 

Вот еще список статей, которые тогда мне показались достойны: http://www.software-...-07-07-11-29-47

 

О сивирити и приорити, на мой взгляд лучше всех написал Саша Лобач: http://alexlobach.ru...y-priority.html Более поздние статьи слабее.

 

Доклад по мифам автоматизации мы готовили вместе с Дмитрием. http://www.software-...utomation-myths Опять же, одна из лучших статей.


  • 0

-- 

Сергей Мартыненко

Блог 255 ступеней (байки для оруженосца)

facebook (Дети диаграммы Ганта)

ВебПосиделки клуба имени Френсиса Бэкона 

 



Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных