Каждому автотестеру приходится время от времени разбирать упавшие тесты.
Иногда также разбором падений занимаются разработчики или Manual QA.
Как же провести разбор эффективнее?
Попробуйте выполнить следующие шаги:
- Посчитайте количество упавших автотестов и сравните это количество с прошлыми запусками.
У вас на проекте наверняка есть определенное количество регулярно падающих (мигающих) тестов.
Если сегодня упавших стало значительно больше, – проверьте доступность инфраструктуры – базы данных, сервисов, очередей.
Возможная причина – в момент запуска проводились технологические работы.
- Попробуйте перезапустить упавшие тесты.
На сервере или локально.
Возможная причина – имеются некие инфраструктурные проблемы
По итогам пунктов 1,2 может быть заведен баг на инфраструктуру/деплой/CICD
- Изучите логи прохождения автотестов.
Попытайтесь понять ошибки и оценить, есть ли в них массовость и в каком функционале ошибки встречаются чаще всего.
Возможная причина – полностью\частично вышла из строя некая функциональность продукта на тесте. Или функционал был намерено отключен, а автотесты этого не учитывают.
По итогу пункта 3 может быть заведен баг с приоритетом “блокер” на неработающий функционал либо выключена часть автотестов.
- Попробуйте добавить или увеличить ожидания в тестах, проверьте локаторы элементов на странице.
Возможная причина – автотест пробегает быстрее, чем подгружается UI или выполняется некий процесс, проверяемый тестом.
Если все предыдущие шаги не помогли, то остались 2 возможные причины – баг в приложении или баг в автотесте.
Как понять, где именно?
Проверьте недавние коммиты разработки в репозитории проекта – не меняли ли они функционал, проверяемый автотестом.
Обратитесь к автору коммита, который мог потенциально затронуть исследуемый функционал.
Проверьте также историю прохождения автотеста. Падал ли он ранее с подобной ошибкой.
По возможности пройдите сценарий автотеста вручную – удостоверьтесь в наличии\отсутствии бага в приложении.
По итогу вы заведете баг – либо на разработку, либо на доработку автотеста.
Помните, что упавшие тесты – это нормальное явление.
Главное – уметь быстро и правильно их разбирать.
Спасибо за внимание и удачи в автоматизации тестирования!
