Сообщений в теме: 11

[abrr]

Доброго времени суток! Мой вопрос, в большей степени, ориентирован на QA, который работают или работали на проектах с data science и ML. 

 

 

1.От заказчика прилетает big data/data set. Разработчики обрабатывают эти данные и полученное выдают в тестирование. Как тестировщику понять что на этих данных можно обучать модель?

2.А/В тестами мы проверяем наши модели. Есть ли ещё способы тестирования моделей?(не white box)

3.Какая документация тестирования должна быть на проектах с DS и ML?

[Spock]

звучит прямо как вопрос с собеседования

[abrr]

звучит прямо как вопрос с собеседования

Кстати да) но это случайность) просто рассчитываю на развёрнутые ответы

[Spock]

 

 

Кстати да) но это случайность) просто рассчитываю на развёрнутые ответы

и кто такие вопросы задал если это не собеседование?

[abrr]

 

 

 

Кстати да) но это случайность) просто рассчитываю на развёрнутые ответы

и кто такие вопросы задал если это не собеседование?

в компании где я работаю, проекты с ds и ml появились недавно. я являюсь лидом на этих проектах. вот так и появились вопросы, т.к. хочу выстроить процессы и сделать всё по уму

[Spock]

 

 

в компании где я работаю, проекты с ds и ml появились недавно. я являюсь лидом на этих проектах. вот так и появились вопросы, т.к. хочу выстроить процессы и сделать всё по уму

ну и что Вы уже выяснили как лид?

[Little_CJIOH]

Испытывайте модель на тестовом датасете, который не входит в обучающий датасет. Придумайте метрику измеряющую качество и замеряйте ее для модели.
В одной из команд с которой я работал была практика что результат новой модели не должен отличаться от результата старой более чем на 2%. Банально чтобы у заказчика не возникало вопросов.

[abrr]

Испытывайте модель на тестовом датасете, который не входит в обучающий датасет. Придумайте метрику измеряющую качество и замеряйте ее для модели.
В одной из команд с которой я работал была практика что результат новой модели не должен отличаться от результата старой более чем на 2%. Банально чтобы у заказчика не возникало вопросов.

с датасетом так и делаем.

Метрика качества, вот тут есть вопрос. Если например говорить о распознавании текста с картинки, то тут метрика точность распознавания. сколько символов распознали верно, сколько не распознали совсем и сколько неверно. что в это случае будет качеством?

[Little_CJIOH]

Если говорить о качестве распознавания, то f1 score  достаточно хороша была. Если конкретно по распознаванию символов текста, то можно кроме общей считать по шрифтам и по отдельным символам.

[abrr]

Если говорить о качестве распознавания, то f1 score  достаточно хороша была. Если конкретно по распознаванию символов текста, то можно кроме общей считать по шрифтам и по отдельным символам.

ок. спасибо. А какая документация тестирования была у вас на проекте?

[Little_CJIOH]

 

Если говорить о качестве распознавания, то f1 score  достаточно хороша была. Если конкретно по распознаванию символов текста, то можно кроме общей считать по шрифтам и по отдельным символам.

ок. спасибо. А какая документация тестирования была у вас на проекте?

был тест-план писаный для заказчика. нужды в другой документации не было.

[abrr]

 

 

Если говорить о качестве распознавания, то f1 score  достаточно хороша была. Если конкретно по распознаванию символов текста, то можно кроме общей считать по шрифтам и по отдельным символам.

ок. спасибо. А какая документация тестирования была у вас на проекте?

был тест-план писаный для заказчика. нужды в другой документации не было.

 

Спасибо!