Никита Рубинов — Автоматизируем UX-тестирование с помощью машинного обучения

Ближайшая конференция Heisenbug: #heisenbug #тестирование #IT #conference #jugrugroup «UX-тестирование не может быть автоматизировано» — утверждение верное до недавнего времени. Теперь же многие задачи в UX-тестировании и валидации пользовательского опыта могут быть автоматизированы с помощью машинного обучения. Из доклада узнаем, какие задачи уже могут взять на себя нейронные сети и что для этого нужно. Рассмотрим ограничения, которые есть на данный момент.  Будет полезно командам тестирования и тестировщикам пользовательского интерфейса, UX-исследователям и разработчикам, а также менеджерам продукта и дизайнерам.  Технологии под капотом доклада: машинное/компьютерное зрение (CV, распознавание и классификация UI-элементов), векторное представление (понимание и структуризация пользовательского интерфейса), WebDriver adb (способы управления браузером/устройством), Deep Visual Models (симуляция внимания человека (UX)), web scarping/web parsing. Решение, представленное в докладе, продемонстрирует использование технологий машинного обучения для автоматизации некоторых кейсов UX-тестирования и выявление точек роста в пользовательском опыте продукта.  P.S. Доклад основан на собственных курсовых и дипломных работах в МГТУ и ВШЭ. Скачать презентацию с сайта —