Каждому автотестеру приходится время от времени разбирать упавшие тесты.
Иногда также разбором падений занимаются разработчики или Manual QA.
Как же провести разбор эффективнее?
Попробуйте выполнить следующие шаги:
- Посчитайте количество упавших автотестов и сравните это количество с прошлыми запусками.
У вас на проекте наверняка есть определенное количество регулярно падающих (мигающих) тестов.
Если сегодня упавших стало значительно больше, — проверьте доступность инфраструктуры — базы данных, сервисов, очередей.
Возможная причина — в момент запуска проводились технологические работы.
- Попробуйте перезапустить упавшие тесты.
На сервере или локально.
Возможная причина — имеются некие инфраструктурные проблемы
По итогам пунктов 1,2 может быть заведен баг на инфраструктуру/деплой/CICD
- Изучите логи прохождения автотестов.
Попытайтесь понять ошибки и оценить, есть ли в них массовость и в каком функционале ошибки встречаются чаще всего.
Возможная причина — полностью\частично вышла из строя некая функциональность продукта на тесте. Или функционал был намерено отключен, а автотесты этого не учитывают.
По итогу пункта 3 может быть заведен баг с приоритетом «блокер» на неработающий функционал либо выключена часть автотестов.
- Попробуйте добавить или увеличить ожидания в тестах, проверьте локаторы элементов на странице.
Возможная причина — автотест пробегает быстрее, чем подгружается UI или выполняется некий процесс, проверяемый тестом.
Если все предыдущие шаги не помогли, то остались 2 возможные причины — баг в приложении или баг в автотесте.
Как понять, где именно?
Проверьте недавние коммиты разработки в репозитории проекта — не меняли ли они функционал, проверяемый автотестом.
Обратитесь к автору коммита, который мог потенциально затронуть исследуемый функционал.
Проверьте также историю прохождения автотеста. Падал ли он ранее с подобной ошибкой.
По возможности пройдите сценарий автотеста вручную — удостоверьтесь в наличии\отсутствии бага в приложении.
По итогу вы заведете баг — либо на разработку, либо на доработку автотеста.
Помните, что упавшие тесты — это нормальное явление.
Главное — уметь быстро и правильно их разбирать.
Спасибо за внимание и удачи в автоматизации тестирования!
