Перейти к содержимому

Техники локализации плавающих дефектов
онлайн, начало 19 апреля
Тестирование безопасности
онлайн, начало 21 апреля
Тестирование мобильных приложений
онлайн, начало 21 апреля
Автоматизатор мобильных приложений
онлайн, начало 21 апреля
Фотография

Тестирование программы "Calculator"


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 20

#1 Raysinger

Raysinger

    Новый участник

  • Members
  • Pip
  • 10 сообщений
  • ФИО:Лавринович Владислав Анатольевич

Отправлено 15 июня 2018 - 13:56

Маленькая программа с предназначением по поиску "корня квадратного" и "Log base"
Имеется одно окно ввода данных "X="
И две активные кнопки square & log base.
Потратил кучу времени на ее изучение,не смотря на то что там всего-то две кнопки.
Нашел 2 дефекта.Но этого оказалось мало,по словам руководителя проекта.Может есть у кого какие идеи??по поводу возможных дефектов.
Все стандартные ситуации отработаны.Будь то сворачивание,закрытие,открытие 2/3 окон и прочая стандартная практика.Программа функционирует с положительными числами..Буду счастлив увидеть комменты более опытных тестеров.Спасибо.
  • 0

#2 bobylev

bobylev

    Активный участник

  • Members
  • PipPip
  • 77 сообщений
  • ФИО:Бобылев Максим

Отправлено 15 июня 2018 - 14:13

Позволю себе еще раз процитировать нетленку из BBST

 

BachDoug Hoffman worked on the MASPAR (the Massively Parallel computer, 64K parallel processors).

The MASPAR has several built-in mathematical functions. The Integer square root function takes a 32-bit word as an input, interpreting it as . an integer (value is between 0 and 232-1). There are 4,294,967,296 possible inputs to this function. How many should we test?What if you knew this machine was to be used for mission-critical and life-critical applications?

 

•To test the 32-bit integer square root function, Hoffman checked all values (all 4,294,967,296 of them). This took the computer about 6 minutes to run the tests and compare the results to an oracle.
•There were 2 (two) errors, neither of them near any boundary. (The underlying error was that a bit was sometimes missed, but in most error cases, there was no effect on the final calculated result.) Without an exhaustive test, these errors probably wouldn‟t have shown up.
•What about the 64-bit integer square root? How could we find the time to run all of these? If we don't run them all, don't we risk missing some bugs?

  • 0

#3 Little_CJIOH

Little_CJIOH

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 508 сообщений
  • ФИО:Власкин Павел
  • Город:Санкт-Петербург


Отправлено 15 июня 2018 - 14:18

Дайте пожалуйста ссылку на стандарт по которому вы "отрабатывали ситуации".

У меня есть идея, что вы бессистемно подергали окно и проверили пару тривиальных значений.

Делитесь, что проверяли, как именно, и с какой целью.


  • 0

#4 Raysinger

Raysinger

    Новый участник

  • Members
  • Pip
  • 10 сообщений
  • ФИО:Лавринович Владислав Анатольевич

Отправлено 15 июня 2018 - 14:27

Спасибо за внимание.
Так как отсутствует спецификация и какая либо документация.Отталкиваться приходиться от простого юзабилити.
Окно для ввода значения X...
Далее две кнопки
Расчет корня квадратного
Расчет логарифма.
Программа корректно сворачивается и разворачивается,закрывается,открывается.
Работает только с положительными числами.
При вводе знаков,символов,букв...выдает вежливое сообщение:
Введённое вами значение не является цифрой,пожалуйста проверьте ввод.
Нашел два дефекта:
1.При вводе многозначного целого числа > 256 и нажатия на square отображается верное значение,но после второго нажатия значение меняется....и так до бесконечности.
2.после ввода многозначного значения высчитывается логарифм,если среди числа добавит пробел.Пример (124....12 4)
То ответ изменится.
Как то так.
Многих ньюансов не понимаю.Только начинаю изучать это направление.
Спасибо
  • 0

#5 Little_CJIOH

Little_CJIOH

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 508 сообщений
  • ФИО:Власкин Павел
  • Город:Санкт-Петербург


Отправлено 15 июня 2018 - 14:49

вы проверили, что получаемый вами ответ корректен? вы проверили все специфичные для функций значения?
Кейс предложенный bobylev мы рассматривать не будем, как излишне специфичный.


  • 0

#6 Raysinger

Raysinger

    Новый участник

  • Members
  • Pip
  • 10 сообщений
  • ФИО:Лавринович Владислав Анатольевич

Отправлено 15 июня 2018 - 15:10

Да.Все значения проверялись.Может я не замечаю какие не будь типичные дефекты.
Является ли отсутствие ограничения на ввод,дефектом?
И является ли дефектом то что при полноэкранном режиме программа находится в левом верхнем углу??а все остальное пространство занимается белый фон?
  • 0

#7 Little_CJIOH

Little_CJIOH

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 508 сообщений
  • ФИО:Власкин Павел
  • Город:Санкт-Петербург


Отправлено 15 июня 2018 - 16:29

1) да, критичность зависит от требований к системе.

2) нет не является. ну можно предположить, что у такого окна не должно быть полноэкранного режима, но это такой минорный минор.

Отвяжитесь от интерфейса, вы его уже проверили, у вас есть основная функциональность и вы про нее вообще ни слова не сказали.

Какие значения вы проверяли? почему? какой результат ожидали и получили? 

Как вы вообще проверяли корректность log base высчитанного из одного параметра?


  • 0

#8 Vasiliy

Vasiliy

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 2 906 сообщений
  • ФИО:Касимов Василий
  • Город:Москва

Отправлено 15 июня 2018 - 16:30

Да.Все значения проверялись.Может я не замечаю какие не будь типичные дефекты.
Является ли отсутствие ограничения на ввод,дефектом?
И является ли дефектом то что при полноэкранном режиме программа находится в левом верхнем углу??а все остальное пространство занимается белый фон?

1. Что значит "все"? Список проверок есть? Пишите сюда. Если нет - составьте и напишите.
2. Что значит "отсутствие ограничений на ввод"? Можно пример, пожалуйста. Такие вещи обычно регулируются требованиями, но вы опять скажете, что их нет)
3. Является, но за такой баг в списке дефектов на первом месте хочется оторвать руки)
  • 0

#9 Vasiliy

Vasiliy

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 2 906 сообщений
  • ФИО:Касимов Василий
  • Город:Москва

Отправлено 15 июня 2018 - 16:44

Спасибо за внимание.
Так как отсутствует спецификация и какая либо документация.Отталкиваться приходиться от простого юзабилити.

Пожалуйста, не надо отталкиваться от юзабилити!! Если требований нет, то их надо получить. Если вам их не дают, то надо составить свои и согласовать, что вот мол основа для тестовой модели. И заодно подумать так ли интересно работать там, где требования должны составлять тестировщики.
Но только не надо приплетать сюда юзабилити и обсуждать дефекты максимизации окна до проверки математики. Вы даже тест на корень из отрицательного числа не упомянули еще)
  • 0

#10 Raysinger

Raysinger

    Новый участник

  • Members
  • Pip
  • 10 сообщений
  • ФИО:Лавринович Владислав Анатольевич

Отправлено 15 июня 2018 - 19:09

Программа работает только с положительными числами.
С отрицательными,нет.
Корректно вводятся только положительные числа.
Все остальное,будь то (-;/;*;)идёт как невозможное.Выскакивает окно уведомления,с рекомендацией исправить ввод на корректный,так как введённый символ не является числом.
Следовательно корень отрицательно числа не высчитывается.
Я пробовал с положительными числами.Методом пограничных значений.
  • 0

#11 Molechka

Molechka

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 219 сообщений
  • ФИО:Ольга Назина (Киселева)
  • Город:Москва


Отправлено 17 июня 2018 - 20:13

Вас уже несколько раз попросили дать конкретику:

 

— Какие значения вы проверяли? почему? какой результат ожидали и получили? 

— Что значит "все"? Список проверок есть? Пишите сюда. Если нет - составьте и напишите.

 

Вместо списка опять абстракция "Я пробовал с положительными числами". С КАКИМИ? Раз вы упорно игнорируете этот вопрос, видимо, это было 1-2 значения или просто бессистемное тыкание... Ну так то да, как вам и сказал руководитель, "этого мало"


  • 0
Автор сайта для начинающих тестировщиков http://testbase.ru/
Автор портала проверки названий багов http://bugred.ru/
Веду блог http://okiseleva.blogspot.com/

#12 Raysinger

Raysinger

    Новый участник

  • Members
  • Pip
  • 10 сообщений
  • ФИО:Лавринович Владислав Анатольевич

Отправлено 18 июня 2018 - 04:19

Положительные числа от 0.1 до 10000.
Граничными значениями.
Спасибо,но я уже разобрался.
  • 0

#13 gako

gako

    Активный участник

  • Members
  • PipPip
  • 115 сообщений
  • Город:Калининград

Отправлено 18 июня 2018 - 06:34

Положительные числа от 0.1 до 10000.
Граничными значениями.
Спасибо,но я уже разобрался.

 

Если не затруднит, напишите, как разобрались, чтобы вопрос остался освещенным.


  • 0

#14 Spock

Spock

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 18 июня 2018 - 07:40

bobylev имхо прав, как минимум несколько миллионов значений надо прогнать через юнит тесты, как минимум ручной тестировщик может попросить девелоперов сделать это, вероятно ошибки могут быть на каких-то значениях. также сравнить эти миллионы результатов с результатами от другой библиотеки

 

обратить особое внимание на "потерю точности", например взять "самое маленькое поддерживаемое число" и посчитать значения, потом взять "второе самое маленькое" и тоже посчитать, ещё увеличить и посчитать. и так далее. исследовать результаты, верны ли они. так же можно сделать с максимальным числом, и где-то в середине

 

сколько знаков отображает результат? наверное не полное значение ведь оно может быть бесконечным? тогда наверное округляет последнее отображаемое значение? есть три разных округления плюс простая обрезка - какой вариант используется и правильный ли он?

 

а если в качестве десятичного разделителя использовать не "." а "," ?

при некоторых локализациях машины именно "," будет использоваться (меняем десятичный разделитель в настройках машины)

 

а как насчёт разделителя тысяч? в зависимости от локализации "." и "," могут использоваться. например 1.000.000,01 валидный вариант для некоторых локализаций, 1,000,001.01 для других 

(меняем разделитель тысяч в настройках машины)

 

числа могут начинаться с нуля, например 001 и 001.01

 

могут заканчиваться "лишними" нулями, например 0.10, или иметь "лишнюю" десятичную часть, например 1.00 либо 1.00000000

 

какое самое маленькое число поддерживается? какое самое большое? поддерживается ли нотация записи через "е"?

 

как насчёт знака "+"? например "+0.1"

 

валидная неполная запись типа ".1" ".001" и ",1", такая же запись с лишними нулями ".10000", такая же с нулями и плюсом "+.0001"

 

разные неполные невалидные записи типа "." и "," и разные другие

десятичный разделитель без десятичной части "1." и "1,"

 

лишние и неверные разделители тысяч, например "1.00" и "1000." и "1.0.0" и "0.01"


  • 0

#15 Spock

Spock

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 18 июня 2018 - 07:48

а вообще нужно чёткое понимание "что тестируем"

 

если компания написала код для вычислений - тогда одни тесты будут, которые тестируют данные

если просто были использованы стандартные библиотеки корня и логбейс, и надо наверное просто протестировать интерфейс - тогда будут другие тесты, которые тестируют окошко ввода и кнопки и валидации и сообщения об ошибках


  • 0

#16 Raysinger

Raysinger

    Новый участник

  • Members
  • Pip
  • 10 сообщений
  • ФИО:Лавринович Владислав Анатольевич

Отправлено 18 июня 2018 - 09:46

Более подробно отпишу завтра
  • 0

#17 Spock

Spock

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 20 июня 2018 - 11:04

 

 

Потратил кучу времени на ее изучение,не смотря на то что там всего-то две кнопки.
Нашел 2 дефекта.Но этого оказалось мало,по словам руководителя проекта.

наверное это был не "руководитель проекта" а тестовое задание к собеседованию ;)

 

Ай-яй-яй... Значит, так. За изобретение ставлю пять, а... по предмету - неуд. (с)


  • 0

#18 Raysinger

Raysinger

    Новый участник

  • Members
  • Pip
  • 10 сообщений
  • ФИО:Лавринович Владислав Анатольевич

Отправлено 20 июня 2018 - 13:45

 

 

 

Потратил кучу времени на ее изучение,не смотря на то что там всего-то две кнопки.
Нашел 2 дефекта.Но этого оказалось мало,по словам руководителя проекта.

наверное это был не "руководитель проекта" а тестовое задание к собеседованию ;)

 

Ай-яй-яй... Значит, так. За изобретение ставлю пять, а... по предмету - неуд. (с)

 

Нет. К сожалению или к счастью, это было обычное тестовое задание)

Высококритичные  _3

среднекритичные__6

Низкокритичные___17

я нашел всего 6 из которых 3 высококритич. и 3 среднекритич.

как-то так  

 


  • 1

#19 Taniat

Taniat

    Новый участник

  • Members
  • Pip
  • 6 сообщений
  • ФИО:Рыбачек

Отправлено 28 октября 2019 - 10:59

Маленькая программа с предназначением по поиску "корня квадратного" и "Log base"
Имеется одно окно ввода данных "X="
И две активные кнопки square & log base.
Потратил кучу времени на ее изучение,не смотря на то что там всего-то две кнопки.
Нашел 2 дефекта.Но этого оказалось мало,по словам руководителя проекта.Может есть у кого какие идеи??по поводу возможных дефектов.
Все стандартные ситуации отработаны.Будь то сворачивание,закрытие,открытие 2/3 окон и прочая стандартная практика.Программа функционирует с положительными числами..Буду счастлив увидеть комменты более опытных тестеров.Спасибо.

 

Маленькая программа с предназначением по поиску "корня квадратного" и "Log base"
Имеется одно окно ввода данных "X="
И две активные кнопки square & log base.
Потратил кучу времени на ее изучение,не смотря на то что там всего-то две кнопки.
Нашел 2 дефекта.Но этого оказалось мало,по словам руководителя проекта.Может есть у кого какие идеи??по поводу возможных дефектов.
Все стандартные ситуации отработаны.Будь то сворачивание,закрытие,открытие 2/3 окон и прочая стандартная практика.Программа функционирует с положительными числами..Буду счастлив увидеть комменты более опытных тестеров.Спасибо.

вам удалось найти дефекты?


  • 0

#20 watchaholic

watchaholic

    Новый участник

  • Members
  • Pip
  • 3 сообщений
  • ФИО:Михаэл Коллини

Отправлено 02 апреля 2021 - 16:05

 

Маленькая программа с предназначением по поиску "корня квадратного" и "Log base"
Имеется одно окно ввода данных "X="
И две активные кнопки square & log base.
Потратил кучу времени на ее изучение,не смотря на то что там всего-то две кнопки.
Нашел 2 дефекта.Но этого оказалось мало,по словам руководителя проекта.Может есть у кого какие идеи??по поводу возможных дефектов.
Все стандартные ситуации отработаны.Будь то сворачивание,закрытие,открытие 2/3 окон и прочая стандартная практика.Программа функционирует с положительными числами..Буду счастлив увидеть комменты более опытных тестеров.Спасибо.

 

Маленькая программа с предназначением по поиску "корня квадратного" и "Log base"
Имеется одно окно ввода данных "X="
И две активные кнопки square & log base.
Потратил кучу времени на ее изучение,не смотря на то что там всего-то две кнопки.
Нашел 2 дефекта.Но этого оказалось мало,по словам руководителя проекта.Может есть у кого какие идеи??по поводу возможных дефектов.
Все стандартные ситуации отработаны.Будь то сворачивание,закрытие,открытие 2/3 окон и прочая стандартная практика.Программа функционирует с положительными числами..Буду счастлив увидеть комменты более опытных тестеров.Спасибо.

вам удалось найти дефекты?

 аааа У меня точно такое задание помогите понят как сделать тесты 


  • 0


Инструменты тестировщика: Командная строка
онлайн
Практикум по тест-дизайну 2.0
онлайн
Программирование на Phyton для тестировщиков
онлайн
Тестирование производительности (JMeter)
онлайн



Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных

Яндекс.Метрика
Реклама на портале