Come si misura l'accuratezza delle previsioni nella moda? MAPE, WAPE, bias e MASE
L'accuratezza delle previsioni decide se uno strumento di pianificazione basato sull'IA vale il suo costo, eppure la metrica più diffusa è poco adatta alla moda. Una guida pratica a MAPE, WAPE, bias e MASE, e a che cosa significa un buon risultato.
IN SINTESI Sintesi della redazione
- Nella moda l'accuratezza delle previsioni andrebbe misurata con almeno due numeri: una metrica dell'entità dell'errore, come WAPE o MASE, e una metrica di bias che mostri se le previsioni sono sistematicamente troppo alte o troppo basse.
- Il MAPE non è definito quando le vendite effettive sono pari a zero e assume valori estremi quando le vendite sono vicine allo zero, il che lo rende inaffidabile per taglie, colori e negozi a bassa rotazione.
- Il MASE, proposto da Hyndman e Koehler, rapporta gli errori a una semplice previsione naive: un valore inferiore a uno significa che la previsione batte questo benchmark naive.
- L'accuratezza va misurata al livello in cui si prendono le decisioni, come modello-colore per settimana o per negozio, perché l'accuratezza aggregata nasconde gli errori che causano ribassi e rotture di stock.
- Non esiste un valore universale di buona accuratezza per la moda: il test significativo è il miglioramento rispetto al metodo attuale sugli stessi prodotti, sullo stesso orizzonte e allo stesso livello.
Nella moda l'accuratezza delle previsioni si misura al meglio con una metrica di errore che gestisca vendite basse e nulle, come WAPE o MASE, più una misura separata del bias. Il MAPE, la metrica più citata, non funziona con gli articoli a bassa rotazione e non dovrebbe essere l'unico numero sulla dashboard. Che cosa sia un buon risultato dipende da livello, orizzonte e tipo di prodotto, quindi l'accuratezza va sempre giudicata rispetto a un benchmark sugli stessi dati.
Perché l'accuratezza delle previsioni conta così tanto nella moda?
Ogni decisione di acquisto, allocazione e riordino si basa su una previsione. Una sovrastima si trasforma in eccedenze di magazzino e ribassi; una sottostima in rotture di stock e vendite a prezzo pieno perse. Quando un brand valuta uno strumento di previsione basato sull'IA, l'accuratezza è anche la prova principale del ritorno sull'investimento. Se la misurazione è sbagliata, è sbagliato anche il business case.
Quali sono le principali metriche di accuratezza delle previsioni?
Il manuale Forecasting: Principles and Practice di Hyndman e Athanasopoulos suddivide le misure di accuratezza in errori dipendenti dalla scala, errori percentuali ed errori scalati. La tabella riassume le metriche più usate nella pianificazione retail.
| Metrica | Che cosa misura | Punto di forza | Debolezza nella moda |
|---|---|---|---|
| MAE (errore assoluto medio) | Entità media dell'errore in unità | Facile da spiegare | Non consente di confrontare articoli con volumi diversi |
| RMSE (radice dell'errore quadratico medio) | Errore con maggior peso agli scostamenti grandi | Evidenzia gli scostamenti grandi | Sensibile ai valori anomali; dipende dall'unità |
| MAPE (errore percentuale assoluto medio) | Errore medio in percentuale dei valori effettivi | Indipendente dall'unità, intuitivo | Non definito con vendite nulle; estremo vicino allo zero |
| WAPE (errore percentuale assoluto ponderato) | Errore assoluto totale diviso per le vendite effettive totali | Robusto per gli articoli a basso volume | Dominato dagli articoli ad alto volume |
| MASE (errore assoluto medio scalato) | Errore relativo a una previsione naive | Confrontabile tra articoli; funziona con gli zeri | Meno intuitivo per gli utenti business |
| Bias | Errore medio con segno (sovrastima o sottostima) | Mostra la direzione sistematica | Non dice nulla sull'entità dell'errore |
Che cosa non va nel MAPE per le previsioni nella moda?
Il MAPE divide ogni errore per il valore effettivo. Hyndman e Athanasopoulos osservano che le misure percentuali sono infinite o non definite quando un valore effettivo è zero, e danno risultati estremi quando i valori effettivi sono vicini allo zero. Nella moda le vendite nulle o quasi nulle sono ovunque: una taglia 34 in un negozio, una variante colore di nicchia, la prima o l'ultima settimana di vita di un prodotto.
Nel loro articolo Another look at measures of forecast accuracy, Hyndman e Koehler vanno oltre: con una domanda intermittente e quantità ridotte, la frequenza degli zeri rende impossibile usare le misure percentuali. Fanno anche notare che la competizione di previsione M3 ha aggirato il problema escludendo questi dati, una soluzione non praticabile nella realtà. Il manuale aggiunge un secondo problema: il MAPE penalizza gli errori negativi più di quelli positivi, il che può spingere i team verso previsioni sistematicamente basse.
Che cosa dovrebbero usare invece i team della moda?
Due alternative sono ampiamente utilizzate. Il WAPE somma gli errori assoluti di tutti gli articoli e li divide per le vendite totali, così una taglia sbagliata su un articolo a bassa rotazione non fa esplodere il risultato. È la metrica riportata, ad esempio, nella ricerca VISUELLE di Skenderi e colleghi sui nuovi prodotti fast fashion. Il suo limite è che i bestseller dominano il valore, quindi va letto insieme a una scomposizione per segmento di prodotto.
Il MASE, proposto da Hyndman e Koehler, rapporta ogni errore all'errore di una semplice previsione naive sui dati storici. Un valore inferiore a uno significa che la previsione batte questo benchmark naive; un valore superiore a uno significa che fa peggio. Poiché resta definito anche in presenza di zeri, si adatta ai dati granulari della moda e incorpora un benchmark nella metrica stessa.
Perché misurare il bias separatamente?
Le metriche di errore misurano l'entità, non la direzione. Una previsione può avere un WAPE accettabile e allo stesso tempo sovrastimare costantemente di qualche punto percentuale, accumulando silenziosamente eccedenze di magazzino stagione dopo stagione. Il bias è l'errore medio con segno, oppure la differenza tra previsione totale e vendite effettive totali in percentuale delle vendite effettive. Andrebbe monitorato per categoria, canale e correzione manuale del planner, perché l'ottimismo sistematico entra spesso attraverso le correzioni manuali più che dal modello.
La scelta della metrica determina anche che cosa ottimizza un modello. Il manuale osserva che un metodo che minimizza il MAE produce previsioni della mediana, mentre uno che minimizza l'RMSE produce previsioni della media. Con la domanda asimmetrica tipica della moda, i due valori possono differire sensibilmente, quindi la metrica inserita nel contratto con un fornitore definisce di fatto il tipo di previsione che verrà fornito.
A quale livello andrebbe misurata l'accuratezza?
L'accuratezza migliora man mano che i dati vengono aggregati, quindi la stessa previsione può sembrare eccellente a livello di brand e mese e scarsa a livello di modello, colore, taglia, negozio e settimana. Misurate al livello in cui viene presa la decisione.
- Acquisto: modello o modello-colore, stagione totale, con il lead time al momento in cui l'acquisto viene impegnato.
- Allocazione: modello-colore per negozio o cluster, per settimana.
- Riassortimento e riordino: SKU per punto vendita, sull'orizzonte del lead time di riassortimento.
- Pianificazione finanziaria: categoria per mese, dove l'accuratezza aggregata è appropriata.
Prima di misurare, anche le vendite vanno corrette per le rotture di stock. Una previsione che aveva colto correttamente la domanda sembra sbagliata se il prodotto è andato esaurito e le vendite registrate risultano quindi limitate.
Che cosa significa una buona accuratezza delle previsioni?
Non esiste un obiettivo affidabile valido per l'intero settore moda, e a qualsiasi fornitore che citi una percentuale universale andrebbe chiesto come è stata misurata. La ricerca pubblicata dà un'idea degli ordini di grandezza: nello studio di Fisher e Vaidyanathan sulla previsione dei nuovi prodotti in categorie retail, gli errori sulle quote di vendita variavano tra il 16,2% e il 28,7% di MAPE, a livello aggregato e al di fuori della moda. Le previsioni granulari nella moda mostreranno di norma errori molto più elevati.
Ne deriva una routine di valutazione pratica.
- Fissare il livello decisionale e il lead time per ogni caso d'uso prima del test.
- Tenere da parte una stagione passata che il modello non ha visto e prevederla come se fosse reale.
- Riportare WAPE o MASE, più il bias, per categoria, canale e prodotti nuovi rispetto a quelli continuativi.
- Confrontare con la previsione attuale del planner e con un semplice benchmark naive.
- Tradurre la riduzione dell'errore in effetti su stock e margine, così che la finanza possa valutare il ritorno sull'investimento.
Domande frequenti
Qual è un buon MAPE per le previsioni nella moda?
Non esiste un buon MAPE universale per la moda, perché l'accuratezza dipende molto da livello, orizzonte e tipo di prodotto. Il MAPE è inoltre inaffidabile per gli articoli a basso volume, perché non è definito con vendite nulle. È meglio confrontare WAPE o MASE con il proprio metodo attuale sugli stessi dati.
Qual è la differenza tra MAPE e WAPE?
Il MAPE fa la media dell'errore percentuale di ogni articolo, quindi un articolo piccolo con un grande scostamento percentuale può distorcere il risultato. Il WAPE divide l'errore assoluto totale per le vendite effettive totali, il che lo rende robusto per gli articoli a basso volume ma dà più peso ai bestseller.
Che cos'è il bias di previsione?
Il bias di previsione è la tendenza delle previsioni a essere sistematicamente troppo alte o troppo basse. Si misura come errore medio con segno ed è importante nella moda perché un bias positivo persistente accumula eccedenze di magazzino e ribassi anche quando l'entità dell'errore sembra accettabile.
Che cosa significa un MASE inferiore a 1?
Un MASE inferiore a 1 significa che l'errore medio della previsione è minore di quello di una semplice previsione naive sui dati storici. È una verifica rapida che un modello, o uno strumento di IA, aggiunga valore rispetto a un benchmark di base.
Un'edizione ogni giorno feriale. Si legge in cinque minuti. Gratuita per i professionisti del settore.
FONTI
- Hyndman and Athanasopoulos, Forecasting: Principles and Practice (3rd ed.): Evaluating point forecast accuracy
- Rob J. Hyndman: Another look at measures of forecast accuracy (Hyndman and Koehler)
- arXiv: Well Googled is Half Done, multimodal forecasting of new fashion product sales with image-based Google Trends (Skenderi et al.)
- IDEAS/RePEc: A Demand Estimation Procedure for Retail Assortment Optimization with Results from Implementations (Fisher and Vaidyanathan, Management Science 2014)
