Home

Автор: Никита Филонов, автор курса «Автоматизация тестирования UI + API с Python»
Оригинальная публикация

Представьте утро. Вы открываете ноутбук, заходите в Allure — и видите красное море.

Падает половина автотестов, часть — «временно», часть — «иногда». Почти каждый день начинается с одних и тех же починок, дебага и «вроде теперь стабильно».

Знакомо? Скорее всего да, иначе вы бы не открыли эту статью.

Сегодня хочу спокойно, без паники и взаимных обвинений, взглянуть на эту ситуацию со стороны. Почему тесты ведут себя так непредсказуемо? Откуда берётся эта нестабильность, и почему она кажется вечной?

На самом деле это не случайность. Это закономерный итог накопленных технических решений, компромиссов и, порой, отсутствия инженерной стратегии.

Каждый упавший тест — это не просто «флак» или «ошибка окружения». Это пропущенная проверка, потерянное доверие и часы бесполезных фиксов. Если таких тестов сотни, то со временем автотесты перестают быть инструментом качества — и превращаются в источник шума.

Но из этого есть выход. Разберём, как подойти к автоматизации осознанно, чтобы тесты действительно помогали, а не мешали. Никакой философии, только инженерные практики и работающие приёмы.

1. Не пишите огромные E2E-тесты

Допустим, перед вами стоит задача: проверить регистрацию пользователя и получение письма для подтверждения.

Как большинство команд обычно решает эту задачу? Открывается браузер через Selenium или Playwright, пользователь проходит регистрацию, отправляется письмо, тест ждёт его появления в почтовом ящике, парсер извлекает код подтверждения — и этот код вводится обратно через UI.

Получается большой, сложный и хрупкий E2E‑тест, который тяжело запускать, поддерживать и отлаживать. Любая задержка на стороне почты, сбой сети или нестабильный селектор приведёт к падению. В результате — длинный сценарий, который проверяет всё и сразу, но в итоге не гарантирует ничего.

Как сделать правильно?

Если цель — убедиться, что при регистрации пользователь получает корректный код, то достаточно разбить сценарий на несколько атомарных тестов, каждый из которых проверяет свой уровень.

Например:

1. Первый тест вызывает API регистрации и проверяет в Kafka, что туда ушло событие об отправке кода подтверждения.

2. Второй тест сам публикует в Kafka сообщение с кодом 5555 и проверяет, что этот код проходит валидацию при подтверждении.

3. Дополнительно можно проверить корректность отображения уведомления в интерфейсе — но это уже отдельный UI‑тест.

Такой подход даёт несколько преимуществ:

• Тесты становятся быстрее и стабильнее, потому что исключают лишние зависимости.

• Отладка — проще, каждая ошибка локализована.

• Вы получаете понятную структуру уровней тестирования: интеграционные, контрактные, UI‑тесты — каждый со своей зоной ответственности.

И самое главное — теперь эти тесты можно спокойно запускать в CI/CD, не опасаясь случайных падений.

2. Используйте моки

Моки — это не только про юнит‑тесты. Их можно (и нужно) использовать на всех уровнях — от интеграционных до UI и E2E. Это инструмент, который даёт изоляцию, контроль и предсказуемость поведения системы.

Зачем это нужно?

Когда под вашим приложением десятки или сотни микросервисов, любая цепочка интеграций становится потенциальной точкой отказа. Один сервис не ответил, другой завис — и половина тестов внезапно падает. Причина не в коде, а в среде.

Мок‑сервисы позволяют убрать этот фактор случайности. Вы поднимаете простой сервис, который эмулирует API или очередь сообщений, и заменяете реальные вызовы на предсказуемые ответы. В результате тест проверяет логику приложения, а не стабильность сети.

Пример с UI-тестами

Представьте, что вы тестируете фронт на Playwright. Под ним — API gateway, за ним — десятки сервисов. Любое замедление или зависание на backend‑стороне превращает тесты в лотерею.

Решение простое: поднимите мок API gateway, который отдаёт фейковые, но детерминированные ответы. UI останется в том же окружении, а вероятность флаков упадёт в разы.

        ┌──────────────────────────────┐
        │        UI Test Runner        │
        │ (Playwright / Cypress / etc) │
        └──────────────┬───────────────┘
                       │ управляет
                       ▼
        ┌──────────────────────────────┐
        │         Browser UI           │
        │  (React / Vue / Angular ...) │
        └──────────────┬───────────────┘
                       │ делает HTTP/gRPC вызовы
                       ▼
        ┌──────────────────────────────┐
        │       Mock API Gateway       │
        │   (эмулирует реальные API)   │
        └──────────────┬───────────────┘
                       │
                       ▼
        ┌──────────────────────────────┐
        │   Предсказуемые ответы       │
        │   (JSON, Kafka Events и т.п.)│
        └──────────────────────────────┘

Пример с микросервисом

Если вы тестируете отдельный сервис, ничего не мешает замокать все внешние зависимости — базы, очереди, партнёрские API. Такой подход превращает интеграционные тесты в изоляционные: вы проверяете не инфраструктуру, а поведение конкретного сервиса в контролируемой среде.

Часто это реализуется просто:

• сервис поднимается в Docker‑контейнере;

• все внешние зависимости — моки, Kafka, Redis, базы — запускаются через docker-compose;

• тесты идут напрямую к локальному окружению.

         ┌──────────────────────────┐
         │     Test Runner (CI)     │
         └────────────┬─────────────┘
                      │
                      ▼
         ┌──────────────────────────┐
         │     Target Service       │
         │   (Docker Container)     │
         └────────────┬─────────────┘
                      │
     ┌────────────────┼────────────────┐
     ▼                ▼                ▼
[Mock Kafka]     [Mock Redis]     [Mock Partner API]

Под моками в контексте сервисных тестов можно понимать два варианта:

1. Фейковые реализации — небольшие сервисы, которые притворяются зависимостями. Они возвращают предсказуемые ответы, ведут себя как настоящие компоненты, но не требуют инфраструктуры. (Например, мок Kafka, который просто сохраняет события в памяти, или мок базы, который возвращает фиктивные данные.)

2. Реальные инстансы, поднятые локально — например, настоящая Redis или PostgreSQL, запущенные в docker-compose. Такой вариант предпочтителен, когда важно сохранить поведение системы (например, транзакции или TTL), но при этом полностью контролировать окружение.

Оба подхода равнозначны — выбор зависит от контекста, уровня изоляции и того, какую часть поведения вы хотите протестировать. Главное, что вы контролируете все зависимости и избегаете случайных отказов.

Почему это работает?

1. Меньше точек отказа. Один мок вместо сотни микросервисов — на порядки выше стабильность.

2. Скорость. 1000–1500 изоляционных тестов без базы выполняются за 1–2 минуты. Даже если добавить базу и Kafka — полный прогон займёт 5–7 минут. Для сравнения, аналогичные тесты на реальном окружении часто идут часами.

3. Простота отладки. Любая ошибка воспроизводится локально, без ожидания CI.

Когда тесты становятся «бесплатными»

Самое интересное — эффект масштаба. Пока тестов 20–30, никто не думает о времени запуска. Но когда их сотни, каждый новый тест становится болью: прогон медленный, CI тормозит, а локальный запуск невозможен.

С моками всё иначе. Тесты запускаются быстро, надёжно и предсказуемо. Добавить новый сценарий — не проблема, потому что инфраструктура не становится узким местом.

В итоге писать автотесты перестаёт быть риском, а становится естественным шагом в процессе разработки.

Когда тесты изолированы и стабильны, отпадает необходимость в сложных инструментах вроде analyze test impact, test instability analyzers и прочих попыток «умно запускать только затронутые тесты».

Причина проста: в устойчивой системе тестов не нужно бояться полного прогона.

Если тесты выполняются за минуты и не зависят от внешних факторов — их можно запускать хоть после каждого коммита. И тогда инструменты для анализа импакта становятся просто избыточными.

Вы тратите усилия не на борьбу со следствием (нестабильностью), а на устранение причины — сложность и зависимость от окружения.

А как же покрытие?

Иногда звучит аргумент: «Если всё замокано, мы же не тестируем реальную систему». На деле всё наоборот.

С моками вы получаете качественное покрытие на уровне логики, не засорённое шумом внешних факторов. Контракты, бизнес‑правила, фильтры, сообщения в Kafka — всё это можно проверять быстро и стабильно. А интеграционный смоук по «живой» системе можно оставить минимальным — он лишь подтверждает, что окружение живо.

3. Держите быстрый смоук интеграционных тестов

Полностью отказываться от автотестов на реальном окружении не стоит. Но их объём должен быть минимальным и целевым.

Оставьте буквально один‑два happy‑path теста на каждую ключевую фичу — простые, линейные, без сложной подготовки и без зависимости от большого количества данных. Такие тесты не должны проверять всю бизнес‑логику. Их задача совсем другая: быстро показать, что система в принципе работает.

Что такое «быстрый смоук»

Смоук‑набор — это небольшая группа тестов, которые служат индикатором здоровья окружения. Если что‑то отвалилось в инфраструктуре — стенд недоступен, сервис не отвечает, контракт разъехался — смоук это сразу покажет. Если же смоук зелёный, можно быть уверенным, что платформа в целом жива и готова к более детальной проверке.

[CI/CD Pipeline]
       │
       ▼
[Smoke Tests: 1–2 per feature]
       │
       ├─ Проверяют доступность API
       ├─ Проверяют ключевые пользовательские потоки
       └─ Завершаются за 1–2 минуты

Где живёт бизнес-логика?

Основная логика системы должна проверяться на уровне изоляционных тестов — там, где всё контролируемо, быстро и стабильно. Именно там можно позволить себе сотни сценариев, вариации данных, проверку крайних случаев.

Интеграционный смоук — это не конкурент, а страховочная сетка. Он не доказывает, что бизнес‑функционал идеален, но показывает, что всё вообще поднято, соединено и реагирует.

Почему это важно?

1. Скорость CI/CD. Смоук‑тесты выполняются за минуты и могут запускаться после каждого деплоя, не тормозя pipeline.

2. Предсказуемость. Падение смоука почти всегда указывает на проблему инфраструктуры, а не теста. Команда быстро понимает, где искать причину.

3. Фокус. Всё сложное и вариативное уходит на нижние уровни тестирования — моки, контрактные, компонентные тесты. Смоук остаётся простым и надёжным.

4. Не завязывайтесь на реализацию

Одна из самых частых ловушек в автоматизации — привязка тестов к внутренней реализации. Например, под сервисом лежит база данных, и тест лезет прямо в таблицу, чтобы убедиться, что запись там появилась. На первый взгляд — удобно. На практике — источник бесконечных проблем.

Почему это плохо?

Когда тесты напрямую обращаются к внутренним структурам — ORM, таблицам, файлам, приватным API — они перестают быть тестами поведения и становятся тестами внутренностей. Любая оптимизация в архитектуре (новая схема БД, другой ORM, перенос данных в другой сервис) ломает десятки таких тестов. При этом для внешнего клиента ничего не изменилось — контракты остались те же, но тесты уже «всё видят иначе» и требуют переписывания.

Что нужно проверять?

Тесты должны проверять контракты, а не реализацию. То есть:

• если взаимодействие синхронное — проверяйте публичные эндпоинты;

• если асинхронное — проверяйте сообщения в Kafka или другие очереди;

• если сервис работает через шлюз или фасад — тестируйте через него.

Так вы подтверждаете, что система ведёт себя корректно снаружи, независимо от того, что внутри.

Классический сценарий

Автоматизатор пишет тест, который после выполнения запроса идёт в базу и проверяет таблицу transactions. Через месяц разработчики оптимизируют процесс: часть данных теперь хранится в кэше, часть в другом сервисе. API остаётся прежним, логика — та же, но тесты падают, потому что больше не находят запись там, где раньше.

И теперь тесты ломаются не потому, что система работает неправильно, а потому что они знали слишком много.

Как правильно?

1. Тестируйте через контракты. Тесту всё равно, где и как сервис хранит данные. Его интересует только результат — что API возвращает корректный ответ или событие приходит в Kafka.

2. Разделяйте уровни. Если нужно проверить работу базы — делайте это на уровне компонентных тестов самого сервиса, а не внешних автотестов.

3. Не используйте прямой доступ к внутренней инфраструктуре (даже если кажется «удобно»). Каждый такой shortcut потом превращается в технический долг.

Пример принципа на практике

❌ Плохо:
1. POST /api/v1/operations/purchase
2. SELECT * FROM transactions WHERE id=12345

✅ Хорошо:
1. POST /api/v1/operations/purchase
2. GET /api/v1/operations?id=12345 → ожидаем статус "completed"

5. Пишите автотесты сразу с фичей

Один из самых сильных приёмов — начинать писать автотесты вместе с фичей, а не после релиза. Этот подход известен как Left Shift Testing — когда тестирование «сдвигается влево», ближе к разработке.

Почему это важно?

Если писать тесты одновременно с фичей, вы постепенно приближаетесь к почти идеальному покрытию. Каждая новая задача приносит свои тесты, а каждая доработка — обновляет существующие. Через несколько спринтов вы обнаружите, что у вас уже есть автотесты на большую часть бизнес‑логики, и система закрыта проверками естественным образом, без отдельного «проекта по покрытию».

Как это выглядит на практике

1. Разработчик создаёт ветку под новую фичу.

2. Тестировщик (или сама команда) добавляет туда автотесты, работающие локально — чаще всего на моках.

3. После слияния фичи тесты сразу становятся частью CI/CD и живут рядом с кодом.

feature/user-registration
 ├── service/
 │   ├── handlers/
 │   └── models/
 └── tests/
     └── test_user_registration.py

Такая структура естественно встраивает тесты в процесс разработки — без «отдельного цикла тестирования после».

Преимущества подхода

1. Минимум долгов. После релиза не остаётся «висящих» фич без тестов.

2. Мгновенная обратная связь. Тесты запускаются локально и на моках — вы сразу видите, что работает, а что нет.

3. Постепенное накопление покрытия. Не нужно писать 500 тестов за раз. Покрытие растёт органично, вместе с продуктом.

4. Меньше риска «забыть». Когда тест создаётся в той же ветке, что и фича, он не потеряется и не уйдёт «в бэклог».

6. Держите автотесты максимально простыми

Хорошие автотесты — это не те, что «умные», а те, что понятные и предсказуемые. Тест не должен быть архитектурным произведением искусства. Он должен быстро показать: система работает — или нет.

Почему это важно?

Чем «умнее» становится тест, тем выше риск, что он начнёт жить своей жизнью: обрастёт вспомогательными классами, логикой, ветвлениями, фейкерами и «временными костылями». В итоге тест сам превращается в мини‑программу со своими багами.

Простота — это надёжность

1. Меньше кода — меньше ошибок. Если можно сделать одну проверку с deep_equal, не нужно писать 10 assert подряд.

2. Данные — изолированные и прозрачные. Вместо тяжёлых фикстур с десятками фейкеров храните тестовые данные в виде простых JSON‑файлов. При необходимости загружайте их в базу, Kafka или сервис напрямую.

3. Сложная логика — в библиотеке, не в тесте. Всё, что повторяется или требует вычислений, выносите в утилиту или общий helper. Тест должен описывать сценарий, а не заниматься вычислениями.

Пример

package paymentsvctest

import (
    "testing"
    "github.com/stretchr/testify/require"

    pb "example.com/bank/api/payments/v1"
    "example.com/bank/testutils"
)

// Структура параметров
type getSummaryParams struct {
    AccountID string
    DateRange *pb.DateRange
}

// Тестовый набор
func TestGetPaymentsSummary(t *testing.T) {
    tests := []testutils.BaseCase[getSummaryParams]{
        {
            ID:       "001",
            Name:     "User with multiple payments — filter by account id",
            Params:   getSummaryParams{AccountID: "account-123"},
            Context:  testutils.Ctx{UserID: "user_1"},
            Response: "user_with_multiple_payments.json",
        },
        {
            ID:       "002",
            Name:     "User without operations — empty result",
            Params:   getSummaryParams{AccountID: "account-empty"},
            Context:  testutils.Ctx{UserID: "user_2"},
            Response: "user_without_operations.json",
        },
    }

    for _, tc := range tests {
        t.Run(tc.Name, func(t *testing.T) {
            want := testutils.LoadProtoOrFail[*pb.GetPaymentsSummaryResponse](t, tc.Response)
            req := &pb.GetPaymentsSummaryRequest{AccountId: tc.Params.AccountID, DateRange: tc.Params.DateRange}

            resp, err := testutils.Client.GetPaymentsSummary(tc.Context, req)
            require.NoError(t, err)
            require.Equal(t, want, resp)
        })
    }
}

Автотест — это не место для инженерного творчества. Его сила — в простоте, детерминизме и воспроизводимости.

Если тест можно описать данными — это хороший тест. Если тесту нужно «думать», чтобы понять, что он делает, значит, он слишком умный.

7. Тестируйте свои тесты

У тестов тоже есть код. И этот код ничем не отличается от продуктового: у него есть зависимости, побочные эффекты, ошибки и регрессии.

Почему это важно?

Любая тестовая инфраструктура — это тоже программа. Генераторы данных, HTTP/gRPC‑клиенты, парсеры ответов, сериализаторы, фикстуры, репортеры, нотификаторы — всё это полноценные компоненты, от которых напрямую зависит достоверность результатов тестирования.

Если они ломаются, вы получаете ложные падения, неверные проверки или — что хуже всего — зелёные тесты, которые ничего не проверяют.

Классическая ситуация

Кто‑то вносит «маленькое улучшение» в общий helper. Например, меняет JSON‑парсер, добавляет кэширование или переписывает логику клиента. Через минуту сто тестов начинают вести себя «странно»:

• половина ничего не проверяет;

• часть падает без смысла;

• а оставшиеся проходят всегда, потому что assert теперь сравнивает не те поля.

И самое опасное — тесты выглядят зелёными.

Что делать?

1. Выносите тестовые утилиты в отдельные пакеты или библиотеки. Пусть у вас будет test_utils, data_generator, mock_server, client_lib — всё, что повторяется. Тестовый код внутри конкретных проектов должен только их вызывать, а не содержать их реализацию.

2. Покрывайте эти библиотеки юнит‑тестами. Да, тесты для тестов. Это не избыточно: вы проверяете надёжность инфраструктуры, на которой держатся тысячи сценариев.

3. Отделяйте слой фреймворка от слоя тестов. Фреймворк должен быть стабильным и проверенным. Тесты — просто сценариями его используют.

Пример

# test_utils/json_parser.py
import json

def parse_response(text: str) -> dict:
    """Парсит JSON-строку, выбрасывает исключение при ошибке"""
    return json.loads(text)

# tests/unit/test_json_parser.py
import pytest
from test_utils.json_parser import parse_response

@pytest.mark.parametrize("text, expected", [
    ('{"id": 1, "name": "Alice"}', {"id": 1, "name": "Alice"}),
    ('{"active": false}', {"active": False}),
])
def test_parse_response_valid(text, expected):
    assert parse_response(text) == expected

def test_parse_response_invalid():
    with pytest.raises(ValueError):
        parse_response("{id: 1 name: Alice}")

Теперь, если кто‑то изменит парсер или клиент, вы сразу узнаете — до того, как начнут сыпаться сотни тестов.

8. Привлекайте разработчиков

Если тесты лежат в стороне от кода, разработчики их не видят, не запускают и не чувствуют за них ответственности. А если они изолированы в том же репозитории — они становятся частью инженерного процесса, а не «магией QA».

Почему это важно?

Разработчики — не враги автоматизации. Они просто не будут работать с тестами, если те выглядят как отдельная система со своими правилами, фреймворками и 200 магическими фикстурами.

Изоляционные тесты (или «изоляты») решают эту проблему идеально. Это тесты, которые живут рядом с кодом, используют те же моки, те же модели, те же типы и инфраструктуру. Разработчик может запустить их локально, отдебажить и даже дописать свой кейс — без барьера входа.

Как этого добиться

1. Храните тесты рядом с кодом. Если это Go или Python — в том же репозитории, рядом с сервисом. Например:

   /payments/
       ├── internal/
       ├── api/
       ├── tests/
       │    ├── integration/
       │    ├── isolation/
       │    └── smoke/
   

   Тесты — часть кода, а не внешний проект.

2. Пишите тесты так, чтобы их можно было читать. Удалите «магические» фикстуры и нестандартные обвязки. Чем ближе тест к простому скрипту — тем выше шанс, что разработчик его откроет, поймёт и поправит.

3. Сделайте локальный запуск простым. Один make test, task test или pytest -m isolation — и всё работает без внешних зависимостей. Если для запуска тестов нужно полдня на настройку окружения — никто кроме QA их не запустит.

4. Поощряйте pull request-сты с тестами. Идеальная практика — когда разработчик сам пишет изоляционные тесты на свои изменения. QA‑инженер при этом может расширять сценарии, поддерживать инфраструктуру и следить за качеством покрытия.

Пример

# пример структуры изоляционных тестов
/payment-service/
├── internal/
├── api/
├── tests/
│   ├── isolation/
│   │   ├── test_create_payment.py
│   │   ├── test_refund_payment.py
│   │   └── conftest.py
│   └── integration/
│       └── test_full_flow.py

Файлы test_create_payment.py и test_refund_payment.py доступны всем. Разработчик видит их рядом с кодом сервиса — и не воспринимает тесты как «чужой проект».

9. Как не нужно делать

Иногда проще «залить» проблему ресурсами или костылями, чем разобраться с корнем. Но в автоматизации тестирования это путь в тупик. Ни один из этих приёмов не решает проблему стабильности — он лишь отодвигает момент, когда система начнёт рушиться окончательно.

1. Не заливайте проблемы железом

Если у вас десятки микросервисов, асинхронные процессы, очереди, Kafka, RabbitMQ или Temporal — рост ресурсов не спасёт. Да, можно нарастить CPU, память, диски, увеличить лимиты, и тесты на какое‑то время «зашумят меньше». Но через неделю всё вернётся: версии сервисов разъедутся, контракты рассинхронизируются, появятся тайминговые ошибки, сеть моргнёт, очередь переполнится.

Проблема не в железе, а в сложности интеграций и отсутствии изоляции. Если тесты флакнут из‑за окружения — решать нужно архитектурно: через моки, контейнеризацию, изоляцию и контроль контрактов.

Увеличение ресурсов лечит симптомы, но не болезнь.

2. Не пытайтесь лечить нестабильность ретраями

Ретрай создаёт иллюзию надёжности и часто маскирует реальные проблемы.

• Он скрывает настоящие проблемы. Если тест падает из‑за гонки данных, неконсистентности или таймаута, ретрай просто отложит момент, когда вы заметите дефект.

• Он искажает метрики. При трёх ретраях «успешный» тест может занимать в три раза больше времени — и вы теряете реальную картину стабильности.

• Он делает CI непредсказуемым. Иногда тесты проходят, иногда — нет, и вы начинаете гадать, где ошибка: в коде, в тестах или во времени суток.

В языке Go, например, ретраев в принципе нет — философия проста:

Тест либо проходит, либо не проходит. если не проходит — ищи причину, а не ставь цикл «попробуй ещё раз».

3. Не усложняйте фреймворк — чем проще, тем надёжнее

Многие команды пытаются «перерасти» простые тесты и начинают писать собственные фреймворки: добавляют кастомные вейтеры, логи, анализаторы, перезапуски, кастомные докер‑менеджеры, централизованные оркестраторы и прочие «инновации».

Через пару месяцев тесты перестают быть тестами. Они становятся маленькой экосистемой, где непонятно, где заканчивается проверка и начинается инфраструктура. Любое изменение превращается в риск.

Простой факт:

чем больше кода в тестовом фреймворке, тем выше вероятность, что вы тестируете уже не продукт, а сам фреймворк.

Минимизируйте фреймворк, оставив только то, что действительно нужно. Фреймворк — это не место для ретраев, таймеров и «умных» вейтеров. Он должен быть простым каркасом: запуск, репортинг, базовые утилиты. Всё остальное — лишний вес.

Заключение

Моки, изоляция, атомарность и минимализм. Этого достаточно, чтобы тесты были стабильными, быстрыми и по делу.

Если вы читали эту статью и ловили себя на мысли, что половина примеров вам знакома — это нормально. Почти все через это проходили: флаки, костыли, ретраи, «магические» фреймворки и CI, который живёт своей жизнью.

Проблема здесь не в инструментах, а в подходе. Стабильная автоматизация начинается с архитектуры, изоляции и инженерного мышления — а не с очередной библиотеки-«комбайна».

Обсудить в форуме