Перейти к содержимому

Практикум по тест-дизайну 2.0
онлайн, начало 20 cентября
Python для начинающих
онлайн, начало 25 сентября
Школа для начинающих тестировщиков
онлайн, начало 19 сентября
Тестирование REST API
онлайн, начало 23 сентября
Фотография

Документация для проектов с data science, ML и о наболевшем...

#data science #documents #ML #DS

  • Авторизуйтесь для ответа в теме
Сообщений в теме: 11

#1 abrr

abrr

    Новый участник

  • Members
  • Pip
  • 6 сообщений
  • ФИО:Василий

Отправлено 06 Июнь 2019 - 08:30

Доброго времени суток! Мой вопрос, в большей степени, ориентирован на QA, который работают или работали на проектах с data science и ML. 

 

 

1.От заказчика прилетает big data/data set. Разработчики обрабатывают эти данные и полученное выдают в тестирование. Как тестировщику понять что на этих данных можно обучать модель?

2.А/В тестами мы проверяем наши модели. Есть ли ещё способы тестирования моделей?(не white box)

3.Какая документация тестирования должна быть на проектах с DS и ML?


  • 0

#2 Spock

Spock

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 537 сообщений
  • ФИО:Роман

Отправлено 06 Июнь 2019 - 08:34

звучит прямо как вопрос с собеседования


  • 0

#3 abrr

abrr

    Новый участник

  • Members
  • Pip
  • 6 сообщений
  • ФИО:Василий

Отправлено 06 Июнь 2019 - 08:49

звучит прямо как вопрос с собеседования

Кстати да) но это случайность) просто рассчитываю на развёрнутые ответы


  • 0

#4 Spock

Spock

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 537 сообщений
  • ФИО:Роман

Отправлено 06 Июнь 2019 - 08:57

 

 

Кстати да) но это случайность) просто рассчитываю на развёрнутые ответы

и кто такие вопросы задал если это не собеседование?


  • 0

#5 abrr

abrr

    Новый участник

  • Members
  • Pip
  • 6 сообщений
  • ФИО:Василий

Отправлено 06 Июнь 2019 - 09:06

 

 

 

Кстати да) но это случайность) просто рассчитываю на развёрнутые ответы

и кто такие вопросы задал если это не собеседование?

в компании где я работаю, проекты с ds и ml появились недавно. я являюсь лидом на этих проектах. вот так и появились вопросы, т.к. хочу выстроить процессы и сделать всё по уму


  • 0

#6 Spock

Spock

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 537 сообщений
  • ФИО:Роман

Отправлено 06 Июнь 2019 - 09:17

 

 

в компании где я работаю, проекты с ds и ml появились недавно. я являюсь лидом на этих проектах. вот так и появились вопросы, т.к. хочу выстроить процессы и сделать всё по уму

ну и что Вы уже выяснили как лид?


  • 0

#7 Little_CJIOH

Little_CJIOH

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 415 сообщений
  • ФИО:Власкин Павел
  • Город:Санкт-Петербург


Отправлено 06 Июнь 2019 - 09:20

Испытывайте модель на тестовом датасете, который не входит в обучающий датасет. Придумайте метрику измеряющую качество и замеряйте ее для модели.
В одной из команд с которой я работал была практика что результат новой модели не должен отличаться от результата старой более чем на 2%. Банально чтобы у заказчика не возникало вопросов.


  • 0

#8 abrr

abrr

    Новый участник

  • Members
  • Pip
  • 6 сообщений
  • ФИО:Василий

Отправлено 06 Июнь 2019 - 09:38

Испытывайте модель на тестовом датасете, который не входит в обучающий датасет. Придумайте метрику измеряющую качество и замеряйте ее для модели.
В одной из команд с которой я работал была практика что результат новой модели не должен отличаться от результата старой более чем на 2%. Банально чтобы у заказчика не возникало вопросов.

с датасетом так и делаем.

Метрика качества, вот тут есть вопрос. Если например говорить о распознавании текста с картинки, то тут метрика точность распознавания. сколько символов распознали верно, сколько не распознали совсем и сколько неверно. что в это случае будет качеством?


  • 0

#9 Little_CJIOH

Little_CJIOH

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 415 сообщений
  • ФИО:Власкин Павел
  • Город:Санкт-Петербург


Отправлено 06 Июнь 2019 - 11:21

Если говорить о качестве распознавания, то f1 score  достаточно хороша была. Если конкретно по распознаванию символов текста, то можно кроме общей считать по шрифтам и по отдельным символам.


  • 0

#10 abrr

abrr

    Новый участник

  • Members
  • Pip
  • 6 сообщений
  • ФИО:Василий

Отправлено 06 Июнь 2019 - 12:08

Если говорить о качестве распознавания, то f1 score  достаточно хороша была. Если конкретно по распознаванию символов текста, то можно кроме общей считать по шрифтам и по отдельным символам.

ок. спасибо. А какая документация тестирования была у вас на проекте?


  • 0

#11 Little_CJIOH

Little_CJIOH

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 415 сообщений
  • ФИО:Власкин Павел
  • Город:Санкт-Петербург


Отправлено 06 Июнь 2019 - 12:10

 

Если говорить о качестве распознавания, то f1 score  достаточно хороша была. Если конкретно по распознаванию символов текста, то можно кроме общей считать по шрифтам и по отдельным символам.

ок. спасибо. А какая документация тестирования была у вас на проекте?

был тест-план писаный для заказчика. нужды в другой документации не было.


  • 0

#12 abrr

abrr

    Новый участник

  • Members
  • Pip
  • 6 сообщений
  • ФИО:Василий

Отправлено 06 Июнь 2019 - 12:26

 

 

Если говорить о качестве распознавания, то f1 score  достаточно хороша была. Если конкретно по распознаванию символов текста, то можно кроме общей считать по шрифтам и по отдельным символам.

ок. спасибо. А какая документация тестирования была у вас на проекте?

был тест-план писаный для заказчика. нужды в другой документации не было.

 

Спасибо!


  • 0


Школа Тест-Аналитика
онлайн
Организация автоматизированного тестирования
онлайн
Школа тест-менеджеров v. 2.0
онлайн
Тестирование юзабилити (usability)
онлайн



Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных

Яндекс.Метрика
Реклама на портале