Home

Автор: Майкл Болтон (Michael Bolton)
Оригинал статьи
Перевод: Ольга Алифанова

«Языковые модели» («Language models») обычно интерпретируются как сложное существительное – нечто, что моделирует язык. Что, если определять models как глагол? Тогда это простое изъявительное предложение с предполагаемым объектом: язык моделирует наше мышление, или же язык моделирует мир.

Как и с любой моделью, замена или изменение одного из ее элементов может натолкнуть нас на что-то интересное, что поможет усовершенствовать ответы на два главных вопроса, которые мы задаем, тестируя. Первый – это вопрос, который мы постоянно, экспансивно и неявно задаем сами себе как тестировщикам: «Есть ли тут проблема?» Второй мы задаем клиентам – время от времени, конкретно и явно, и он касается проблем и продукта: «Вам как, нормально?»

Вот вам эвристика: когда вы видите «ИИ» (или «ИИ-модель», или «большую языковую модель», или «генеративный ИИ»), замените это словосочетание на «ПО» и оцените, насколько значимы будут перемены в вашем восприятии ценности и риска.

Попробуйте! Вот вам примеры.

• «ИИ в автопилотируемых автомобилях используется для восприятия, принятия решений, предиктивного моделирования и обработки естественного языка».

«ПО в автопилотируемых автомобилях используется для восприятия, принятия решений, предиктивного моделирования и обработки естественного языка».

• «Исследование МакКинси утверждает, что разработчики ПО могут вдвое быстрее выполнять свои задачи, используя генеративный ИИ».

«Исследование МакКинси утверждает, что разработчики ПО могут вдвое быстрее выполнять свои задачи, используя ПО».

• «Согласно судебному иску, компания UnitedHealth использует на 90% ошибочную ИИ-модель, чтобы отказывать в предоставлении услуг».

«Согласно судебному иску, компания UnitedHealth использует на 90% ошибочное ПО, чтобы отказывать в предоставлении услуг».

• «Большие языковые модели могут выполнять какие угодно задачи – например, потрясающе точное распознавание и генерацию текстов».

«ПО могут выполнять какие угодно задачи – например, потрясающе точное распознавание и генерацию текстов».

Замена выглядит очень знакомой, не так ли? Люди говорят о ПО то же самое целую вечность.

Теперь, используя те же предложения, замените «ИИ» («ИИ-модель», «большую языковую модель», «генеративный ИИ») на «алгоритмы, чье поведение неясно, не описано сознательным или добросовестным человеком, и чей исходный код у нас отсутствует».

• «ИИ в автопилотируемых автомобилях используется для восприятия, принятия решений, предиктивного моделирования и обработки естественного языка».

«Алгоритмы, чье поведение неясно, не описано сознательным или добросовестным человеком, и чей исходный код у нас отсутствует, в автопилотируемых автомобилях используются для восприятия, принятия решений, предиктивного моделирования и обработки естественного языка».

• «Исследование МакКинси утверждает, что разработчики ПО могут вдвое быстрее выполнять свои задачи, используя генеративный ИИ».

«Исследование МакКинси утверждает, что разработчики ПО могут вдвое быстрее выполнять свои задачи, используя алгоритмы, чье поведение неясно, не описано сознательным или добросовестным человеком, и чей исходный код у нас отсутствует».

• «Согласно судебному иску, компания UnitedHealth использует на 90% ошибочную ИИ-модель, чтобы отказывать в предоставлении услуг».

«Согласно судебному иску, компания UnitedHealth использует на 90% ошибочные алгоритмы, чье поведение неясно, не описано сознательным или добросовестным человеком, и чей исходный код у нас отсутствует, чтобы отказывать в предоставлении услуг».

• «Большие языковые модели могут выполнять какие угодно задачи – например, потрясающе точное распознавание и генерацию текстов».

«Алгоритмы, чье поведение неясно, не описано сознательным или добросовестным человеком, и чей исходный код у нас отсутствует, могут выполнять какие угодно задачи – например, потрясающе точное распознавание и генерацию текстов».

Заметьте, как изменение слов изменило ваше восприятие риска. Язык моделирует!

Какая стратегия тестирования для этого нужна? В каком-то смысле простая. Основываясь на первом поиске и замене, примените долгосрочную, устойчивую, верхнеуровневую стратегию тестирования ПО – любого ПО.

Изучая продукт, дайте ему ряд простых заданий. Делая это, изучите и оцените то, что вы видите и слышите. Постоянно, экспансивно и неявно спрашивайте себя – есть ли тут проблема?

С таким подходом вы с большим шансом найдете проблемы. Продукт может рухнуть на первом препятствии. Не замечаете никаких проблем – копните глубже, дайте более сложные задачи, посмотрите в другом месте, под другими углами. Убедитесь, что у вас есть доступ к соответствующей экспертизе и возможность ее применить, чтобы заметить проблемы.

Периодически обращайтесь к клиенту. Опишите продукт и его проблемы, а также то, как они влияют на бизнес.

Затем спросите, конкретно и явно – «Вам как, нормально?»

Обсудить в форуме