Сообщений в теме: 6

[Zeliboba_test]

Коллеги, доброго времени суток!

Могли бы вы поделиться своим опытом тестирования чат-ботов построенных на машинном обучении?

Какие техники дизайна применяли во время тестирования?

Влияла ли на ваше тестирование библиотека, выбранная для ядра бота?

[Spock]

это для собеседования?

[Vasiliy]

Роман, если есть не только для собеседований, то поделись, пожалуйста.

У меня тоже есть вопросы как тестировать модели с машинным обучением.

[Spock]

как по мне, так модели с машинным обучением должны тестировать дата-сайентисты (специальные люди со специальным образованием и скиллами), ведь обычные сотрудники ничего не поймут, правильные ли данные возвращает модель

 

это то же самое как и с математическими моделями или другими сложными системами - только профильные специалисты могут их понимать

 

ну или если есть сотрудник или студент желающий "копать поглубже", который будет читать книжки и постоянно сидеть в Jupiter Notebook

 

наверное таких людей можно находить просто задав вопрос: "а Вы работали с Jupiter Notebook?", если работал то попросить показать свои проекты, или даже набросать какое-то решение

[Little_CJIOH]

Роман, если есть не только для собеседований, то поделись, пожалуйста.

У меня тоже есть вопросы как тестировать модели с машинным обучением.

собирать базу вопросов. Для затравки самому набросать, а потом честно тырить реальные клиентские.

[Zeliboba_test]

 

Роман, если есть не только для собеседований, то поделись, пожалуйста.

У меня тоже есть вопросы как тестировать модели с машинным обучением.

собирать базу вопросов. Для затравки самому набросать, а потом честно тырить реальные клиентские.

 

С этим то все ясно. В зависимости от задач можно какую-то эквивалентность выстроить.

Больше интересует как отлавливать эксепшены бота, когда процесс переводится на ручную обработку.

Хочется применить что-то кроме фантазии. 

Можно ли это как-то структурировать?

[Spock]

 

В зависимости от задач можно какую-то эквивалентность выстроить.

Больше интересует как отлавливать эксепшены бота, когда процесс переводится на ручную обработку.

что-то ничего не понял, то ли я просто не в теме машинного обучения? что за эквивалентность, эксепшны и ручная обработка?