До 1 декабря этого года все пилоты в магазинах «Ленты» проходили по одному принципу: чтобы проверить гипотезу, изменяли определенные условия и отслеживали результаты. Если результат был успешным, его представляли инвестиционному контроллингу, который одобряет или отклоняет запросы на инвестиции. Теперь все грядущие пилоты разделят на две группы в зависимости от объемов инвестиций. Если на раскатку проекта нужно от 30 млн рублей, то пилот обязательно должен пройти A/B тестирование.

Что такое A/B тестирование

Метод заключается в том, что при проверке гипотезы параллельно существуют два процесса: в одном проводится эксперимент, другой, контрольный, остается без изменений. После завершения пилота сравнивают результаты в контрольной и пилотной группах и только потом принимают решение, стоит ли внедрять изменение.

Так, в одном из гипермаркетов проводили пилот «Новый СОФ». По его условиям, в секции изменили подход к ценообразованию, выкладку, поработали над ассортиментом с упором на экзотические фрукты и внедрили сервис «Взвесим для вас». Предполагалось, что это увеличит трафик и товарооборот секции. Сравнивали с секцией СОФ, где никаких изменений не было.

По результатам пилота выяснилось: статистически значимо выросли показатели по основным метрикам, а в абсолютных числах за три месяца продажи увеличились более чем на 6 млн в магазинах, где заменили оборудование, и более чем на 9 млн в ТК со старым оборудованием.

Если пилот решат масштабировать и инвестиции в тираж превысят 30 млн рублей, его инициаторы смогут получить справку о проведении A/B тестирования и представят результаты инвестиционному контроллингу.

Масштабирование пилота стоит <30 млн рублей без НДС

Команда A/B не участвует в дизайне, проведении и оценке пилота.

Дизайн
Инициатор выполняет дизайн пилота самостоятельно.

Пилотирование
Инициатор реализует изменения в выбранных ТК, категориях или других параметрах пилота на выбранный период в соответствии с дизайном.

Оценка
Инициатор оценивает пилот самостоятельно.

Включение в реестр пилотов
Перед стартом пилота и после его оценки инициатор направляет A/B команде в Big Data информацию о пилоте, его параметрах и результатах, заполнив форму по ссылке. Команда А/В присваивает пилоту уникальный номер и вносит его в реестр — это нужно, чтобы минимизировать пересечение разных пилотов в одних и тех же магазинах или категориях. По словам специалистов, одновременное проведение разных пилотов может влиять на ход обоих и не позволит сделать верные выводы о результатах.

Масштабирование пилота стоит >30 млн рублей без НДС

Дизайн
Инициатор заполняет форму по ссылке, выбрав цель запроса «дизайн пилота». Команда А/В тестирования из Big Data разрабатывает дизайн, вносит пилот в базу данных и присваивает ему уникальный номер.

Пилотирование
Инициатор реализует изменения в выбранных ТК, категориях или других параметрах пилота на выбранный период по разработанному коллегами из Big Data дизайну. Команда A/B в проведении пилота не участвует.

Оценка
После завершения пилота инициатор запрашивает проведение оценки пилота по ссылке, выбрав цель запроса «оценка пилота». Команда А/В проводит оценку пилота и высылает справку инициатору и в инвестиционный контроллинг.

ВАЖНО!
Если пилот закончился до 1 декабря 2023 года, справка об A/B тестировании не понадобится.
Если пилот на 1 декабря еще был в процессе, а затем вышел на инвестиционный комитет, то понадобится справка об A/B тестировании. Для выхода на инвестиционный комитет запросите у команды А/В проведение оценки пилота. Дизайн при этом останется прежним.

Если пилот стартует после 1 декабря 2023 года с последующей защитой инвестиций на масштабирование, необходимополностью провести пилот по правилам А/B-тестирования.

Еще больше информации про А/B-тестирование смотрите по ссылке.