Come impostare gruppi di controllo per testare strumenti di merchandising IA

Quale unità si dovrebbe randomizzare quando si testano strumenti IA?

La scelta tra randomizzare singoli prodotti, negozi o periodi di tempo determina sia la potenza statistica che il rischio di interferenza tra gruppi di test e di controllo. La randomizzazione è sufficiente quando la dimensione del campione è significativamente grande, almeno 10.000 per gruppo, ma insufficiente quando si tratta di numeri piccoli, come è comune per i test retail che analizzano mercati o negozi, tipicamente meno di 100.

La randomizzazione a livello di SKU offre la massima potenza statistica per una data dimensione del campione perché massimizza il numero di osservazioni indipendenti. Tuttavia, questo approccio funziona solo quando i prodotti non competono per capacità di inventario condivisa o attenzione del cliente. Quando si testano strumenti IA di previsione della domanda, sia gli esperimenti switchback che la randomizzazione a livello di articolo soffrono di distorsione sistematica dovuta all'interferenza: carryover temporale negli switchback e cannibalizzazione tra articoli sotto vincoli di capacità.

La randomizzazione a livello di negozio evita la contaminazione quando l'intervento influenza le decisioni di merchandising, i calendari promozionali o il comportamento del personale che non può essere isolato ai singoli prodotti. La randomizzazione a livello di negozio riduce il rischio di distorsione da selezione e rende i risultati più difendibili. Il compromesso è una ridotta potenza statistica, che richiede dimensioni di effetto maggiori o durate di test più lunghe per raggiungere la significatività.

Come si calcola la dimensione del campione richiesta?

La dimensione del campione dipende da tre parametri: il tasso di conversione o di sell-through di base, l'effetto minimo rilevabile che si desidera misurare e la soglia di potenza statistica. Per convenzione l'80% è considerato un livello di potenza sufficiente. Gli studi controllati tipici fissano il livello di significatività statistica a 0,05 o 0,01 e la potenza all'80 o 90 per cento.

La relazione tra questi parametri è non lineare. Un calo del 50% nella dimensione dell'effetto richiederà un aumento di quattro volte nella dimensione del campione per raggiungere la stessa potenza. Per i test e-commerce, un negozio che converte il 2,0% delle sessioni, testando un cambiamento che dovrebbe portare la conversione al 2,2%, un aumento relativo del 10%, richiede diverse migliaia di sessioni per variante per rilevare la differenza in modo affidabile.

Quando si testano strumenti IA per le riduzioni di prezzo a livello di negozio, il calcolo deve tenere conto degli effetti di raggruppamento. Se si tratta di un RCT a cluster, la correlazione intra-cluster riduce la dimensione effettiva del campione perché i negozi all'interno della stessa regione o formato tendono a comportarsi in modo più simile rispetto ai negozi selezionati casualmente. I calcolatori di dimensione del campione pubblicamente disponibili per due proporzioni forniscono la stima di base, che dovrebbe poi essere adeguata al rialzo in base alla correlazione prevista all'interno dei cluster.

Come si dovrebbero abbinare i negozi di controllo ai negozi di test?

Quando le dimensioni del campione scendono sotto 10.000 per gruppo, l'allocazione intelligente in gruppi abbinati garantisce l'equilibrio sulle variabili che determinano la metrica di risultato. Quando la dimensione del campione è piccola, allochiamo intelligentemente ogni soggetto in gruppi di test e di controllo in modo che tutti i gruppi si assomiglino il più possibile.

Il raggruppamento dei negozi fornisce la base per l'abbinamento. I rivenditori raggruppano i negozi accorpando quelli con domanda dei clienti simile, quindi pianificano assortimenti, allocazioni di taglie e promozioni per ciascun cluster. Le basi comuni sono la capacità del negozio, gli attributi del negozio e i dati demografici, le vendite per categoria, la produttività e il prezzo. Le variabili utilizzate per il raggruppamento dovrebbero riflettere i meccanismi dello strumento IA testato. Quando si valuta un software di previsione della domanda, raggruppare per volatilità storica delle vendite, tasso di introduzione di nuovi prodotti e mix di canali. Quando si testano ottimizzazioni delle riduzioni di prezzo, raggruppare per sensibilità al prezzo, frequenza promozionale e modelli di sell-through di fine stagione.

Quando i cluster di individui vengono randomizzati anziché gli individui stessi, la migliore pratica dovrebbe prevedere tre passaggi. I ricercatori dovrebbero scegliere casualmente un cluster trattato e uno di controllo all'interno di ciascuna coppia. Questo design a coppie abbinate protegge contro lo squilibrio quando il numero totale di negozi è piccolo, tipicamente sotto le 50 sedi.

Quali tipi di distorsione si dovrebbero controllare?

La distorsione da selezione si verifica quando l'assegnazione al test o al controllo dipende da caratteristiche che influenzano anche il risultato. La distorsione da autoselezione può rendere difficile valutare accuratamente alcuni tipi di iniziative, come i programmi fedeltà. Se i merchandiser offrono volontariamente le loro categorie per un pilota di previsione IA, tali categorie potrebbero già avere dati più puliti o team più coinvolti, gonfiando l'effetto osservato.

L'assegnazione casuale è la difesa principale contro la distorsione da selezione, ma solo quando la randomizzazione viene applicata prima dell'inizio di qualsiasi intervento. Utilizzare le prestazioni storiche come proxy per un gruppo di controllo è la scorciatoia più comune nella sperimentazione retail e una delle più problematiche. Confrontare le prestazioni del periodo di test con lo stesso periodo dell'anno scorso sembra intuitivo, ma l'anno scorso non è un gruppo di controllo. Un gruppo di controllo contemporaneo, negozi che operano in parallelo durante lo stesso periodo di test, è sempre più affidabile di un confronto storico.

Quando la vera randomizzazione non è fattibile, i metodi di controllo sintetico possono ridurre la distorsione nelle analisi retrospettive. Il fornitore ha utilizzato Test & Learn per costruire gruppi di controllo sintetici basati sui profili dei clienti. La metodologia di controllo sintetico è il processo di identificazione retroattiva di gruppi di controllo ben abbinati in situazioni in cui non c'era un gruppo di controllo randomizzato iniziale. Tuttavia, questi metodi richiedono ipotesi forti su quali variabili determinano i risultati e non possono sostituire completamente la randomizzazione prospettica.

La distorsione da attrito si verifica quando i partecipanti abbandonano il test in modo non casuale. Nei test a livello di negozio, questo potrebbe significare esaurimenti di scorte che impediscono a uno strumento di riduzione di prezzo di eseguire i prezzi raccomandati, o guasti di integrazione del sistema che escludono determinate sedi dal ricevere previsioni generate dall'IA. L'attrito non differenziale si verifica quando l'attrito dai gruppi di trattamento o di controllo avviene per ragioni non correlate al trattamento. In questo caso, ci preoccuperemmo solo se l'attrito non differenziale erode la dimensione del nostro campione in modo tale che sorgano problemi di significatività statistica o di potenza.

Quanto dovrebbe durare il test?

La durata del test deve soddisfare due vincoli: accumulare la dimensione del campione precalcolata e catturare almeno un ciclo economico completo. Come minimo, eseguire ogni test per un ciclo economico completo (7 giorni) per tenere conto delle variazioni del giorno della settimana, anche se si raggiunge la dimensione del campione target prima. Per gli strumenti IA che influenzano le decisioni di acquisto o i tempi di riduzione, un ciclo economico significa una stagione completa, dall'allocazione iniziale alla liquidazione di fine stagione.

Interrompere un test in anticipo quando i risultati appaiono significativi aumenta il tasso di falsi positivi. Guardare troppo presto: controllare i risultati prima che il campione sia sufficiente può gonfiare l'errore di tipo I (falsi positivi). Impostare la dimensione del campione e la data di fine prima di lanciare il test, e resistere alla pressione di dichiarare un vincitore basandosi su risultati intermedi a meno che il design del test non tenga esplicitamente conto dell'analisi sequenziale.

I tassi di adozione a volte possono essere inferiori al previsto, e questo può avere conseguenze sulla dimensione dell'effetto e, di conseguenza, sulla potenza statistica. Se problemi operativi impediscono l'attivazione dello strumento IA in alcune sedi di test, l'intensità effettiva del trattamento diminuisce, richiedendo una finestra di test più lunga o l'accettazione di un effetto minimo rilevabile più alto.

Quali controlli operativi proteggono la validità?

Documentare il protocollo di test prima della randomizzazione, includendo l'ipotesi, la metrica di risultato primaria, le metriche secondarie e l'approccio di analisi pianificato. Questa pre-registrazione previene il reporting selettivo di qualsiasi metrica mostri il risultato più favorevole.

Assicurarsi che l'intervento sia l'unica differenza sistematica tra i gruppi di test e di controllo. Quando si testa uno strumento IA di previsione della domanda, entrambi i gruppi dovrebbero utilizzare lo stesso sistema ERP, lo stesso calendario di acquisto e le stesse soglie di approvazione per gli ordini di acquisto. L'unica variabile dovrebbe essere se la previsione proviene dal modello IA o dal processo esistente.

Monitorare gli esperimenti concorrenti che potrebbero interagire con il test dello strumento IA. Se il team di marketing lancia un test promozionale negli stessi negozi durante la stessa finestra, l'attribuzione diventa ambigua. Coordinare il calendario dei test tra i team di merchandising, marketing e operazioni per mantenere un'assegnazione del trattamento pulita.

Verificare che i meccanismi di raccolta dati funzionino in modo identico nei gruppi di test e di controllo. Se lo strumento IA scrive le sue raccomandazioni su una dashboard che gli acquirenti controllano quotidianamente, ma il gruppo di controllo si basa su report email settimanali, le differenze osservate potrebbero riflettere l'accessibilità delle informazioni piuttosto che l'accuratezza della previsione. L'infrastruttura di misurazione dovrebbe essere identica in entrambi i bracci.