Comment mettre en place des groupes de contrôle pour tester les outils d'IA de merchandising

Quelle unité randomiser lors du test des outils d'IA ?

Le choix entre randomiser des produits individuels, des magasins ou des périodes temporelles détermine à la fois la puissance statistique et le risque d'interférence entre les groupes test et contrôle. La randomisation est suffisante lorsque la taille de l'échantillon est significativement grande, au moins 10 000 par groupe, mais insuffisante lorsqu'on traite de petits nombres, comme c'est courant pour les tests de vente au détail examinant des marchés ou des magasins, généralement moins de 100.

La randomisation au niveau des références offre la puissance statistique la plus élevée pour une taille d'échantillon donnée car elle maximise le nombre d'observations indépendantes. Cependant, cette approche ne fonctionne que lorsque les produits ne se font pas concurrence pour des capacités d'inventaire partagées ou l'attention des clients. Lors du test d'outils d'IA de prévision de la demande, les expériences à bascule et la randomisation au niveau des articles souffrent d'un biais systématique dû à l'interférence : report temporel dans les bascules et cannibalisation entre articles sous contraintes de capacité.

La randomisation au niveau des magasins évite la contamination lorsque l'intervention affecte les décisions de merchandising, les calendriers promotionnels ou le comportement du personnel qui ne peuvent pas être isolés à des produits individuels. La randomisation au niveau des magasins réduit le risque de biais de sélection et rend vos résultats plus défendables. Le compromis est une puissance statistique réduite, nécessitant soit des tailles d'effet plus grandes, soit des durées de test plus longues pour atteindre la significativité.

Comment calculer la taille d'échantillon requise ?

La taille de l'échantillon dépend de trois paramètres : le taux de conversion ou de vente de référence, l'effet minimal détectable que vous souhaitez mesurer et le seuil de puissance statistique. La convention considère que 80 % est un niveau de puissance suffisant. Les essais contrôlés typiques fixent le niveau de significativité statistique à 0,05 ou 0,01 et la puissance à 80 ou 90 pour cent.

La relation entre ces paramètres est non linéaire. Une réduction de 50 % de la taille de l'effet nécessitera une augmentation quadruple de la taille de l'échantillon pour atteindre la même puissance. Pour les tests de commerce électronique, un magasin convertissant 2,0 % des sessions, testant un changement qui devrait augmenter la conversion à 2,2 %, une hausse relative de 10 %, nécessite plusieurs milliers de sessions par variante pour détecter la différence de manière fiable.

Lors du test d'outils d'IA de démarque au niveau des magasins, le calcul doit tenir compte des effets de regroupement. S'il s'agit d'un ECR en grappes, la corrélation intra-grappe réduit la taille effective de l'échantillon car les magasins d'une même région ou d'un même format tendent à se comporter de manière plus similaire que les magasins sélectionnés au hasard. Les calculateurs de taille d'échantillon disponibles publiquement pour deux proportions fournissent l'estimation de référence, qui doit ensuite être ajustée à la hausse en fonction de la corrélation attendue au sein des grappes.

Comment apparier les magasins de contrôle aux magasins test ?

Lorsque les tailles d'échantillon descendent en dessous de 10 000 par groupe, une allocation intelligente en groupes appariés assure l'équilibre sur les variables qui déterminent la métrique de résultat. Lorsque la taille de l'échantillon est petite, nous allouons intelligemment chaque sujet dans des groupes de test et de contrôle afin que tous les groupes se ressemblent autant que possible.

Le regroupement de magasins fournit la base de l'appariement. Les détaillants regroupent les magasins en rassemblant ceux ayant une demande client similaire, puis planifient les assortiments, les allocations de taille et les promotions pour chaque grappe. Les bases courantes sont la capacité du magasin, les attributs et démographie du magasin, les ventes par catégorie, la productivité et le prix. Les variables utilisées pour le regroupement doivent refléter les mécanismes de l'outil d'IA testé. Lors de l'évaluation d'un logiciel de prévision de la demande, regrouper selon la volatilité historique des ventes, le taux d'introduction de nouveaux produits et le mix de canaux. Lors du test d'optimisation de démarque, regrouper selon la sensibilité au prix, la fréquence promotionnelle et les modèles de vente de fin de saison.

Lorsque des grappes d'individus sont randomisées plutôt que les individus eux-mêmes, la meilleure pratique devrait impliquer trois étapes. Les chercheurs devraient choisir aléatoirement une grappe traitée et une grappe de contrôle au sein de chaque paire. Cette conception en paires appariées protège contre le déséquilibre lorsque le nombre total de magasins est petit, généralement moins de 50 emplacements.

Quels types de biais contrôler ?

Le biais de sélection survient lorsque l'attribution au test ou au contrôle dépend de caractéristiques qui influencent également le résultat. Le biais d'auto-sélection peut rendre difficile l'évaluation précise de certains types d'initiatives, comme les programmes de fidélité. Si les merchandiseurs se portent volontaires pour leurs catégories pour un pilote de prévision par IA, ces catégories peuvent déjà avoir des données plus propres ou des équipes plus engagées, gonflant l'effet observé.

L'attribution aléatoire est la principale défense contre le biais de sélection, mais seulement lorsque la randomisation est appliquée avant le début de toute intervention. L'utilisation de la performance historique comme substitut d'un groupe de contrôle est le raccourci le plus courant dans l'expérimentation de vente au détail et l'un des plus problématiques. Comparer la performance de la période de test à la même période l'année dernière semble intuitif, mais l'année dernière n'est pas un groupe de contrôle. Un groupe de contrôle contemporain, des magasins fonctionnant en parallèle pendant la même période de test, est toujours plus fiable qu'une comparaison historique.

Lorsque la vraie randomisation n'est pas faisable, les méthodes de contrôle synthétique peuvent réduire le biais dans les analyses rétrospectives. Le fournisseur a utilisé Test & Learn pour construire des groupes de contrôle synthétiques basés sur les profils clients. La méthodologie de contrôle synthétique est le processus d'identification rétroactive de groupes de contrôle bien appariés dans des situations où il n'y avait pas de groupe de contrôle randomisé initial. Cependant, ces méthodes nécessitent des hypothèses solides sur les variables qui déterminent les résultats et ne peuvent pas se substituer entièrement à la randomisation prospective.

Le biais d'attrition survient lorsque les participants abandonnent le test de manière non aléatoire. Dans les tests au niveau des magasins, cela peut signifier des ruptures de stock qui empêchent un outil de démarque d'exécuter ses prix recommandés, ou des défaillances d'intégration système qui excluent certains emplacements de la réception de prévisions générées par l'IA. L'attrition non différentielle se produit lorsque l'attrition des groupes de traitement ou de contrôle se produit pour des raisons sans lien avec le traitement. Dans ce cas, nous ne nous inquiéterions que si l'attrition non différentielle érode notre taille d'échantillon de sorte que des problèmes de significativité statistique ou de puissance apparaissent.

Combien de temps le test doit-il durer ?

La durée du test doit satisfaire deux contraintes : accumuler la taille d'échantillon pré-calculée et capturer au moins un cycle économique complet. Au minimum, exécutez chaque test pendant un cycle économique complet (7 jours) pour tenir compte des variations de jour de la semaine, même si vous atteignez votre taille d'échantillon cible plus tôt. Pour les outils d'IA qui influencent les décisions d'achat ou le calendrier de démarque, un cycle économique signifie une saison complète, de l'allocation initiale jusqu'à la liquidation de fin de saison.

Arrêter un test prématurément lorsque les résultats semblent significatifs augmente le taux de faux positifs. Regarder trop tôt : vérifier les résultats avant que votre échantillon soit suffisant peut gonfler l'erreur de type I (faux positifs). Fixez la taille de l'échantillon et la date de fin avant de lancer le test, et résistez à la pression d'annoncer un gagnant sur la base de résultats intermédiaires à moins que la conception du test ne tienne explicitement compte de l'analyse séquentielle.

Les taux d'adoption peuvent parfois être inférieurs aux attentes, et cela peut avoir des conséquences sur votre taille d'effet et, par la suite, sur votre puissance statistique. Si des problèmes opérationnels empêchent l'outil d'IA de s'activer dans certains emplacements de test, l'intensité effective du traitement diminue, nécessitant soit une fenêtre de test plus longue, soit l'acceptation d'un effet minimal détectable plus élevé.

Quels contrôles opérationnels protègent la validité ?

Documentez le protocole de test avant la randomisation, incluant l'hypothèse, la métrique de résultat principale, les métriques secondaires et l'approche d'analyse planifiée. Ce pré-enregistrement empêche le rapportage sélectif de la métrique qui montre le résultat le plus favorable.

Assurez-vous que l'intervention est la seule différence systématique entre les groupes test et contrôle. Lors du test d'un outil d'IA de prévision de la demande, les deux groupes devraient utiliser le même système ERP, le même calendrier d'achat et les mêmes seuils d'approbation pour les bons de commande. La seule variable devrait être si la prévision provient du modèle d'IA ou du processus existant.

Surveillez les expériences concurrentes qui pourraient interagir avec le test de l'outil d'IA. Si l'équipe marketing lance un test promotionnel dans les mêmes magasins pendant la même fenêtre, l'attribution devient ambiguë. Coordonnez le calendrier de test entre les équipes de merchandising, marketing et opérations pour maintenir une attribution de traitement claire.

Vérifiez que les mécanismes de collecte de données fonctionnent de manière identique dans les groupes test et contrôle. Si l'outil d'IA écrit ses recommandations dans un tableau de bord que les acheteurs consultent quotidiennement, mais que le groupe de contrôle s'appuie sur des rapports hebdomadaires par courrier électronique, les différences observées pourraient refléter l'accessibilité de l'information plutôt que la précision de la prévision. L'infrastructure de mesure devrait être identique dans les deux bras.