Модуль 2 · Автоматизация · урок 5 из 13
E2E на Playwright с Codex
На e2e-тестах агент экономит больше всего часов, и здесь же он чаще всего хитрит. Спек на Playwright Codex напишет за минуту, а сделать его устойчивым и честным вам предстоит вдвоём. Рабочий цикл покажем на примере сайта на OctoberCMS с регресс-набором в tests/e2e.
Контекст, без которого будет плохо
Перед первой задачей убедитесь, что агенту доступны:
playwright.config.tsсbaseURL, проектами (например, десктоп и мобильный Chromium), ретраями и трейсами. Агент должен понимать, что каждый тест прогонится и в мобильном проекте.- Существующие спеки и
tests/e2e/support: общие хелперы, проверка «работаем только на localhost», фикстуры. Иначе агент напишет свои с нуля. - Правила в AGENTS.md: локаторы, запреты, критерий «готово» (см. урок «Настройка Codex под тестирование»).
Отдельно дайте ему шаблоны страниц. В OctoberCMS разметка лежит в .htm-файлах темы и partials. Когда агент видит шаблон, он берёт оттуда реальные подписи кнопок и полей и не угадывает button.submit-btn.
Цикл: кейс → спек → прогон → разбор
Начинайте с проверки, сформулированной словами, например из тест-дизайна:
Напиши e2e-тест в tests/e2e/feedback-form.spec.ts по кейсам TC-01…TC-04
(ниже). Перед написанием открой шаблон формы в теме и найди реальные
подписи полей и кнопки. Используй хелперы из tests/e2e/support.
Прогони: npx playwright test tests/e2e/feedback-form.spec.ts
Если тест падает — сначала объясни причину, потом правь.
Нельзя: waitForTimeout, force: true, ослабление утверждений.Фраза «сначала объясни причину» не даёт агенту спешить. Без неё он склонен менять тест, пока тот не позеленеет, так и не поняв, почему тест падал.
Результат, к которому стоит стремиться:
import { test, expect } from '@playwright/test';
test.describe('Форма обратной связи', () => {
test.beforeEach(async ({ page }) => {
await page.goto('/contacts');
});
test('не отправляется без имени и показывает ошибку у поля', async ({ page }) => {
const form = page.getByRole('form', { name: 'Обратная связь' });
await form.getByLabel('Email').fill('qa@example.test');
await form.getByRole('button', { name: 'Отправить' }).click();
await expect(form.getByText('Укажите имя')).toBeVisible();
await expect(page.getByText('Спасибо, заявка отправлена')).toBeHidden();
});
test('принимает телефон вместо email', async ({ page }) => {
const form = page.getByRole('form', { name: 'Обратная связь' });
await form.getByLabel('Имя').fill('Тест');
await form.getByLabel('Телефон').fill('+7 999 123-45-67');
await expect(form.getByRole('button', { name: 'Отправить' })).toBeEnabled();
});
});Утверждения здесь веб-ориентированные (web-first assertions, await expect(locator)…): Playwright сам ждёт нужного состояния, поэтому ручные паузы не нужны. Во втором тесте форма не отправляется. Тесты, которые реально создают заявку, в таком проекте разрешены только на локальном стенде, и для них агент должен брать общий хелпер, а не отправлять что попало.
Локаторы и роли
Просите локаторы по ролям и подписям: getByRole, getByLabel, getByText. Заодно это проверка доступности: если у поля нет подписи, getByLabel его не найдёт. Такой случай — баг вёрстки, и переходить из-за него на CSS-селектор не нужно. Попросите агента записывать такие проблемы отдельно, а не обходить их.
Если локатор находит несколько элементов, Playwright падает с нарушением строгого режима (strict mode violation). Агент в таких случаях часто «чинит» тест, добавляя .first(). Иногда это верно, но чаще значит, что локатор неточен и тест кликает не туда, куда вы думаете. Требуйте сузить область поиска: искать элемент внутри формы или секции.
Как агент «чинит» тесты и почему это опасно
Такие правки регулярно встречаются в диффах, и их нужно отклонять:
| Что сделал агент | Чем опасно |
|---|---|
await page.waitForTimeout(3000) |
Медленно и всё равно нестабильно; прячет гонку |
click({ force: true }) |
Кликает по перекрытому элементу, хотя пользователь так не может |
Увеличил timeout или retries |
Маскирует медленную страницу или флак |
Заменил toHaveText('…') на toBeVisible() |
Тест больше не проверяет содержимое |
Обернул шаг в try/catch |
Ошибка проглатывается, тест всегда зелёный |
Добавил test.skip |
Проблема исчезла из отчёта, но осталась в продукте |
После каждой сессии полезно смотреть дифф тестов отдельно от кода: git diff -- tests/. Подробнее о проверке читайте в уроке «Как проверять тесты, написанные агентом».
Разбор падений
Когда тест падает, агенту мало одного текста ошибки. Playwright складывает в test-results скриншот и вложения упавшего теста, а при настройке trace: 'on-first-retry' ещё и трейс. Попросите агента прочитать ошибку и вложения и сформулировать гипотезу: «элемент не появился», «появился, но с другим текстом», «перекрыт модальным окном куки». Трейс вам удобнее открыть самим: npx playwright show-trace <путь к trace.zip>.
Если тест падает только в мобильном проекте, дело часто в реальной проблеме адаптива, а тест ни при чём: меню свёрнуто в бургер, кнопка ушла за край экрана. Не давайте агенту исключить мобильный проект «для стабильности».
Запись сценариев браузером
Иногда сценарий быстрее показать, чем описать. У Playwright есть npx playwright codegen, который записывает действия человека. Агент может и сам пройти сценарий через браузер (встроенный или Playwright MCP), а потом написать тест по тому, что увидел. В Playwright MCP есть дополнительные возможности для тестов, например генерация локатора для элемента; включаются они флагом --caps. При этом README Playwright MCP прямо советует кодинг-агентам рассмотреть Playwright CLI с навыками, потому что так уходит меньше токенов (playwright-mcp). Подробнее в уроке «Браузер в руках агента».
Попробуйте сами
10–15 мин на рабочем месте- Возьмите один ручной кейс и попросите агента написать по нему спек с запретами из урока. Проверьте, что он прогнал тест в обоих проектах из конфига.
- Сломайте в шаблоне подпись кнопки, прогоните тест и посмотрите, что предложит агент: исправить тест или сообщить о расхождении.
- Выполните
git diff -- tests/после сессии и поищите места из таблицы «починок», если они есть.
Коротко
- Агенту нужны конфиг Playwright, существующие хелперы, правила из AGENTS.md и шаблоны страниц.
- Локаторы ищите по ролям и подписям; поле без подписи — баг вёрстки, а не повод для CSS-селектора.
- Веб-ориентированные утверждения вместо пауз;
force,waitForTimeout,try/catchиskipотклоняйте. - При падении сначала причина, потом правка; дифф тестов смотрите отдельно.
- Падение только в мобильном проекте часто указывает на настоящий баг адаптива.