Перейти к содержимому

Организация автоматизированного тестирования
онлайн, начало 28 июня
Школа Тест-Аналитика
онлайн, начало 26 июня
SQL для тестировщиков
онлайн, начало 8 июля
Selenium WebDriver: полное руководство
онлайн, начало 28 июня
Фотография

Документация для проектов с data science, ML и о наболевшем...

#data science #documents #ML #DS

  • Авторизуйтесь для ответа в теме
Сообщений в теме: 11

#1 abrr

abrr

    Новый участник

  • Members
  • Pip
  • 6 сообщений
  • ФИО:Василий

Отправлено 06 Июнь 2019 - 08:30

Доброго времени суток! Мой вопрос, в большей степени, ориентирован на QA, который работают или работали на проектах с data science и ML. 

 

 

1.От заказчика прилетает big data/data set. Разработчики обрабатывают эти данные и полученное выдают в тестирование. Как тестировщику понять что на этих данных можно обучать модель?

2.А/В тестами мы проверяем наши модели. Есть ли ещё способы тестирования моделей?(не white box)

3.Какая документация тестирования должна быть на проектах с DS и ML?


  • 0

#2 Spock

Spock

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 435 сообщений
  • ФИО:Роман

Отправлено 06 Июнь 2019 - 08:34

звучит прямо как вопрос с собеседования


  • 0

#3 abrr

abrr

    Новый участник

  • Members
  • Pip
  • 6 сообщений
  • ФИО:Василий

Отправлено 06 Июнь 2019 - 08:49

звучит прямо как вопрос с собеседования

Кстати да) но это случайность) просто рассчитываю на развёрнутые ответы


  • 0

#4 Spock

Spock

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 435 сообщений
  • ФИО:Роман

Отправлено 06 Июнь 2019 - 08:57

 

 

Кстати да) но это случайность) просто рассчитываю на развёрнутые ответы

и кто такие вопросы задал если это не собеседование?


  • 0

#5 abrr

abrr

    Новый участник

  • Members
  • Pip
  • 6 сообщений
  • ФИО:Василий

Отправлено 06 Июнь 2019 - 09:06

 

 

 

Кстати да) но это случайность) просто рассчитываю на развёрнутые ответы

и кто такие вопросы задал если это не собеседование?

в компании где я работаю, проекты с ds и ml появились недавно. я являюсь лидом на этих проектах. вот так и появились вопросы, т.к. хочу выстроить процессы и сделать всё по уму


  • 0

#6 Spock

Spock

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 435 сообщений
  • ФИО:Роман

Отправлено 06 Июнь 2019 - 09:17

 

 

в компании где я работаю, проекты с ds и ml появились недавно. я являюсь лидом на этих проектах. вот так и появились вопросы, т.к. хочу выстроить процессы и сделать всё по уму

ну и что Вы уже выяснили как лид?


  • 0

#7 Little_CJIOH

Little_CJIOH

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 385 сообщений
  • ФИО:Власкин Павел
  • Город:Санкт-Петербург


Отправлено 06 Июнь 2019 - 09:20

Испытывайте модель на тестовом датасете, который не входит в обучающий датасет. Придумайте метрику измеряющую качество и замеряйте ее для модели.
В одной из команд с которой я работал была практика что результат новой модели не должен отличаться от результата старой более чем на 2%. Банально чтобы у заказчика не возникало вопросов.


  • 0

#8 abrr

abrr

    Новый участник

  • Members
  • Pip
  • 6 сообщений
  • ФИО:Василий

Отправлено 06 Июнь 2019 - 09:38

Испытывайте модель на тестовом датасете, который не входит в обучающий датасет. Придумайте метрику измеряющую качество и замеряйте ее для модели.
В одной из команд с которой я работал была практика что результат новой модели не должен отличаться от результата старой более чем на 2%. Банально чтобы у заказчика не возникало вопросов.

с датасетом так и делаем.

Метрика качества, вот тут есть вопрос. Если например говорить о распознавании текста с картинки, то тут метрика точность распознавания. сколько символов распознали верно, сколько не распознали совсем и сколько неверно. что в это случае будет качеством?


  • 0

#9 Little_CJIOH

Little_CJIOH

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 385 сообщений
  • ФИО:Власкин Павел
  • Город:Санкт-Петербург


Отправлено 06 Июнь 2019 - 11:21

Если говорить о качестве распознавания, то f1 score  достаточно хороша была. Если конкретно по распознаванию символов текста, то можно кроме общей считать по шрифтам и по отдельным символам.


  • 0

#10 abrr

abrr

    Новый участник

  • Members
  • Pip
  • 6 сообщений
  • ФИО:Василий

Отправлено 06 Июнь 2019 - 12:08

Если говорить о качестве распознавания, то f1 score  достаточно хороша была. Если конкретно по распознаванию символов текста, то можно кроме общей считать по шрифтам и по отдельным символам.

ок. спасибо. А какая документация тестирования была у вас на проекте?


  • 0

#11 Little_CJIOH

Little_CJIOH

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 385 сообщений
  • ФИО:Власкин Павел
  • Город:Санкт-Петербург


Отправлено 06 Июнь 2019 - 12:10

 

Если говорить о качестве распознавания, то f1 score  достаточно хороша была. Если конкретно по распознаванию символов текста, то можно кроме общей считать по шрифтам и по отдельным символам.

ок. спасибо. А какая документация тестирования была у вас на проекте?

был тест-план писаный для заказчика. нужды в другой документации не было.


  • 0

#12 abrr

abrr

    Новый участник

  • Members
  • Pip
  • 6 сообщений
  • ФИО:Василий

Отправлено 06 Июнь 2019 - 12:26

 

 

Если говорить о качестве распознавания, то f1 score  достаточно хороша была. Если конкретно по распознаванию символов текста, то можно кроме общей считать по шрифтам и по отдельным символам.

ок. спасибо. А какая документация тестирования была у вас на проекте?

был тест-план писаный для заказчика. нужды в другой документации не было.

 

Спасибо!


  • 0


Школа Тест-Аналитика
онлайн
Организация автоматизированного тестирования
онлайн
Школа тест-менеджеров v. 2.0
онлайн
Тестирование юзабилити (usability)
онлайн



Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных

Яндекс.Метрика
Реклама на портале