Перейти к содержимому

Фотография

Тестирование API: Кто должен проверять возвращаемые данные на корректн

API REST Тестирование

  • Авторизуйтесь для ответа в теме
Сообщений в теме: 11

#1 Lzk

Lzk

    Специалист

  • Members
  • PipPipPipPipPip
  • 504 сообщений
  • ФИО:Олег
  • Город:Мск

Отправлено 27 июня 2017 - 14:17

Уважаемые коллеги !

Случился следующий случай:

Тесты на проверку функциональности API не проверяют данные на их корректность(сравнение с базой), а проверяют только на тип.

Так вот программер вставил данные, возвращаемые хранимкой не в те ключи метода(перепутал, замылился глаз и тд).

В итоге случился спор с коллегами, кто должен отвечать за корректность данных из GET запросов?

Какое Ваше мнение на этот счет?


  • 0

#2 Little_CJIOH

Little_CJIOH

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 515 сообщений
  • ФИО:Власкин Павел
  • Город:Санкт-Петербург


Отправлено 27 июня 2017 - 15:21

Мое мнение что вопрос поставлен некорректно.
Вопрос должен быть почему при тест-дизайне решили что для проверки корректности достаточно типа, а значение можно и не проверять?
Сколько тестов надо править и сколько времени это займет?
Где у нас аналогично не проверяется контент ответа?
  • 0

#3 Lzk

Lzk

    Специалист

  • Members
  • PipPipPipPipPip
  • 504 сообщений
  • ФИО:Олег
  • Город:Мск

Отправлено 27 июня 2017 - 15:29

Мое мнение что вопрос поставлен некорректно.
Вопрос должен быть почему при тест-дизайне решили что для проверки корректности достаточно типа, а значение можно и не проверять?
Сколько тестов надо править и сколько времени это займет?
Где у нас аналогично не проверяется контент ответа?

У вас лично проверяются значения ? то есть Вы сверяете данные БД с возвращаемыми данными в теле ответа ?


  • 0

#4 Little_CJIOH

Little_CJIOH

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 515 сообщений
  • ФИО:Власкин Павел
  • Город:Санкт-Петербург


Отправлено 27 июня 2017 - 15:51

Мое мнение что вопрос поставлен некорректно.
Вопрос должен быть почему при тест-дизайне решили что для проверки корректности достаточно типа, а значение можно и не проверять?
Сколько тестов надо править и сколько времени это займет?
Где у нас аналогично не проверяется контент ответа?

У вас лично проверяются значения ? то есть Вы сверяете данные БД с возвращаемыми данными в теле ответа ?

По ситуации.
Определяется стратегией и планом тестирования, даже если они нигде не зафиксированы.
У меня сейчас есть тест, который проверяет, что реальный результат содержит не менее 100 записей и является подмножеством ожидаемого результата. Был как-то тест, который проверял только http-коды ответа.
  • 1

#5 checo

checo

    Опытный участник

  • Members
  • PipPipPipPip
  • 400 сообщений
  • Город:Н.Новгород

Отправлено 27 июня 2017 - 15:51

Так вот программер вставил данные, возвращаемые хранимкой не в те ключи метода(перепутал, замылился глаз и тд).

В итоге случился спор с коллегами, кто должен отвечать за корректность данных из GET запросов?

Какое Ваше мнение на этот счет?

 

Ну, насчет ответственности - она у каждого своя.

Помнится, на какой-то конференции был доклад, где выступала девушка-тестировщик из 2Gis. И оказалось, что у них на таком сложнейшем продукте всего 2 или 3 тестировщика.

Так что, главное - это чтобы программеры писали качественно. И за баги отвечают они.

Тестовый отдел нанимается для снижения рисков. И если они посчитали, что проверка формата достаточно снижает риски, а целостность и корректность данных не важны, и тестировать это не надо, то это их работа и их ответственность.


  • 1

#6 Lzk

Lzk

    Специалист

  • Members
  • PipPipPipPipPip
  • 504 сообщений
  • ФИО:Олег
  • Город:Мск

Отправлено 28 июня 2017 - 09:04

Вопрос должен быть почему при тест-дизайне ...

 

как у вас все идеально ) если честно, пока что не встречал тест-дизайнеров


  • 0

#7 baxatob

baxatob

    Опытный участник

  • Members
  • PipPipPipPip
  • 258 сообщений
  • ФИО:Юрий
  • Город:Riga

Отправлено 28 июня 2017 - 09:13

Тот, кто проектирует тесты, и есть тест-дизайнер.


  • 0

#8 Little_CJIOH

Little_CJIOH

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 515 сообщений
  • ФИО:Власкин Павел
  • Город:Санкт-Петербург


Отправлено 28 июня 2017 - 09:29

Вопрос должен быть почему при тест-дизайне ...

 
как у вас все идеально ) если честно, пока что не встречал тест-дизайнеров

Вот и ответ на ваш вопрос. Тест-дизайн - это аналитическая работа, выполняется ролью тест-аналитик. Результатами этой работы являются всяческие артефакты, в том числе и тест-кейсы, некоторые из которых вполне подлежат автоматизации.
Любой тестировщик пишуший тесты выполняет работу тест-аналитика. Если тестировщик слаб в аналитике (навык которым автоматизаторы часто пренебрегают), то тесты получаются так себе.
  • 0

#9 Lzk

Lzk

    Специалист

  • Members
  • PipPipPipPipPip
  • 504 сообщений
  • ФИО:Олег
  • Город:Мск

Отправлено 28 июня 2017 - 09:39

 

 

Вопрос должен быть почему при тест-дизайне ...

 
как у вас все идеально ) если честно, пока что не встречал тест-дизайнеров

 

Любой тестировщик пишуший тесты выполняет работу тест-аналитика.

Я не очень согласен с этим. Например взять функциональные фронт энд тесты:

Мануальщик может знать гораздо больше фишечек и подводных камней, чем автоматизатор, то есть логично было бы написать тест по его тест-кейсам(то есть он и выступает в качестве тест - дизайнера)

Или я ошибаюсь ?


  • 0

#10 Little_CJIOH

Little_CJIOH

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 515 сообщений
  • ФИО:Власкин Павел
  • Город:Санкт-Петербург


Отправлено 28 июня 2017 - 10:17

Вопрос должен быть почему при тест-дизайне ...

 
как у вас все идеально ) если честно, пока что не встречал тест-дизайнеров

Любой тестировщик пишуший тесты выполняет работу тест-аналитика.

Я не очень согласен с этим. Например взять функциональные фронт энд тесты:
Мануальщик может знать гораздо больше фишечек и подводных камней, чем автоматизатор, то есть логично было бы написать тест по его тест-кейсам(то есть он и выступает в качестве тест - дизайнера)
Или я ошибаюсь ?

Слово "пишет" слишком многозначно. Любой тестировщик придумывающий тесты выполняет работу тест-аналитика. В вашем случает автоматизатор реализует тесты придуманные кем-то другим.
Мануальщик, автоматизатор - пофиг. Есть роль - тест-аналитик. Если нет человека выполняющего обязанности роли - будут проблемы с тест-дизайном.
  • 0

#11 Lzk

Lzk

    Специалист

  • Members
  • PipPipPipPipPip
  • 504 сообщений
  • ФИО:Олег
  • Город:Мск

Отправлено 28 июня 2017 - 10:26

 

 

 

 

Вопрос должен быть почему при тест-дизайне ...

 
как у вас все идеально ) если честно, пока что не встречал тест-дизайнеров

 

Любой тестировщик пишуший тесты выполняет работу тест-аналитика.

 

Я не очень согласен с этим. Например взять функциональные фронт энд тесты:
Мануальщик может знать гораздо больше фишечек и подводных камней, чем автоматизатор, то есть логично было бы написать тест по его тест-кейсам(то есть он и выступает в качестве тест - дизайнера)
Или я ошибаюсь ?

 

Слово "пишет" слишком многозначно. Любой тестировщик придумывающий тесты выполняет работу тест-аналитика. В вашем случает автоматизатор реализует тесты придуманные кем-то другим.
Мануальщик, автоматизатор - пофиг. Есть роль - тест-аналитик. Если нет человека выполняющего обязанности роли - будут проблемы с тест-дизайном.

 

Сорри, подумал , что "пишет" подруземается "автоматизирует") Теперь более понятно, спасибо! Но согласитесь все-таки, что сверка данных с БД как то очень не очевидный кейс, мне и в голову не пришло, на момент, так сказать "проектирования", что программер может перепутать ключи(с одинаковыми типами данных)=) У меня написано много тестов по другим проектам, где о данной проблеме даже и речи не идет. Видимо, на этапе внедрения нового проекта , все таки, этот кейс должен быть обязательным (возможно, разовым и мануальным?)... но теперь тогда вопрос в другом : как тестировать?

Брать хранимку, которую использует метод и тупо сверять данные ?

А если ДБА накосячил в хранимке , кто за ним проверит ?


  • 0

#12 Little_CJIOH

Little_CJIOH

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 515 сообщений
  • ФИО:Власкин Павел
  • Город:Санкт-Петербург


Отправлено 28 июня 2017 - 12:18

Слово "пишет" слишком многозначно. Любой тестировщик придумывающий тесты выполняет работу тест-аналитика. В вашем случает автоматизатор реализует тесты придуманные кем-то другим.
Мануальщик, автоматизатор - пофиг. Есть роль - тест-аналитик. Если нет человека выполняющего обязанности роли - будут проблемы с тест-дизайном.

Сорри, подумал , что "пишет" подруземается "автоматизирует") Теперь более понятно, спасибо! Но согласитесь все-таки, что сверка данных с БД как то очень не очевидный кейс, мне и в голову не пришло, на момент, так сказать "проектирования", что программер может перепутать ключи(с одинаковыми типами данных)=) У меня написано много тестов по другим проектам, где о данной проблеме даже и речи не идет. Видимо, на этапе внедрения нового проекта , все таки, этот кейс должен быть обязательным (возможно, разовым и мануальным?)... но теперь тогда вопрос в другом : как тестировать?
Брать хранимку, которую использует метод и тупо сверять данные ?
А если ДБА накосячил в хранимке , кто за ним проверит ?

Тестировщик же. Хранимки же тоже тестируются :)
У меня было когда в формочку добавили пагинацию и в выводе попутали ID и Name объектов, да еще не везде, а только на "неполной" страничке. Формочке на тот момент было лет 6.
сверка данных с БД неочевидный кейс со стороны web-интерфейса. Со стороны бизнес логики на PL/SQL у тебя все в БД, иногда забываешь, что у этой системы еще и web-интерфейс есть. А при тестировании ETL половина тестов на количество, качество, порядок данных в БД, очередях, файлах на дисках.
Собственно голова и техники тест-дизайна инженеру на то и даны, чтобы в ограниченное время отловить максимум дефектов.
  • 1



Темы с аналогичным тегами API, REST, Тестирование

Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных