Forecast value added: dimostrare che un modello batte il pianificatore

Per dimostrare che un modello batte un pianificatore, si confrontino entrambi con lo stesso semplice benchmark sugli stessi articoli e periodi, usando previsioni congelate prima che le vendite effettive fossero note. Il metodo si chiama forecast value added, o FVA: misura se ogni passaggio del processo di previsione migliora o peggiora la previsione rispetto al passaggio precedente.

Questa guida pratica spiega il metodo, i dati necessari, una procedura passo dopo passo, come leggere i risultati e le critiche che dovrebbero orientare il modo in cui lo si usa.

Che cos'è il forecast value added?

Secondo un articolo di Foresight, l'FVA è la variazione di una metrica di performance, di solito una variante del MAPE, attribuibile a un particolare passaggio o partecipante del processo di previsione. È stato introdotto da Mike Gilliland, esperto di previsione presso SAS, in Foresight: The International Journal of Applied Forecasting, primavera 2013, numero 29. L'articolo elenca il processo tipico così: storico delle vendite, modello di previsione, previsione statistica, correzione del management, previsione finale.

Ogni passaggio viene confrontato con il precedente. Un FVA positivo significa che il passaggio ha migliorato la previsione, un FVA negativo che l'ha peggiorata. Il risultato è spesso mostrato in un report a gradini con una riga per passaggio. Nell'esempio illustrativo dell'articolo stesso, una previsione naive ha un MAPE del 50%, la previsione statistica del 40% e la previsione finale del 42%: il passaggio statistico aggiunge valore e il passaggio di correzione ne distrugge una parte.

Perché partire da un benchmark naive?

La previsione naive è una baseline economica e onesta. L'articolo di Foresight la definisce come il modello random walk o senza variazione, in cui l'ultimo valore osservato diventa la previsione per tutti i periodi futuri. Per i dati stagionali il manuale di Hyndman e Athanasopoulos descrive la previsione naive stagionale, in cui ogni previsione copia il valore della stessa stagione dell'ultimo anno. Il manuale afferma che qualsiasi nuovo metodo di previsione va confrontato con questi metodi semplici e che, se non riesce a batterli, non vale la pena considerarlo.

Nella moda un benchmark naive richiede una riflessione. Gli stili hanno vita breve, quindi il valore dell'anno scorso per lo stesso stile può non esistere. Sostituti comuni sono lo stesso periodo dell'anno scorso a livello di categoria o una media mobile delle prime settimane di vendita. Qualunque si scelga, va documentato e mantenuto fisso.

Leggi anche

Come Abercrombie and Fitch pianifica assortimenti e scorte: che cosa è pubblico sull'IA

Come si esegue un'analisi FVA passo dopo passo?

1. Mappare il processo: elencare ogni passaggio dallo storico alla previsione di consenso finale e chi interviene su di esso.
2. Catturare le previsioni: per ogni articolo, ubicazione e periodo, memorizzare la previsione statistica, la previsione finale e il dato effettivo. Congelarle al momento della previsione.
3. Scegliere la metrica: usare una misura adatta ai dati scarsi, ad esempio l'errore percentuale assoluto ponderato a livello aggregato, più una misura di distorsione.
4. Scegliere il benchmark: naive o naive stagionale, oppure una semplice media mobile quando lo storico è breve.
5. Calcolare la metrica per ogni passaggio e la differenza tra i passaggi, per gruppo di articoli e complessivamente.
6. Guardare la distribuzione, non solo la media: una media positiva può nascondere molti articoli in cui il modello è andato peggio.

Quest'ultimo punto viene dal caso dello stesso articolo di Foresight. Presso Newell Rubbermaid, come riportato da Schubert e Rickard nel 2011, il passaggio da previsione naive a statistica ha aggiunto circa il 5% di accuratezza, mentre le correzioni basate sul giudizio hanno ridotto l'accuratezza di circa il 2%. Gli istogrammi dell'FVA a livello di articolo hanno rivelato molti articoli in cui la previsione statistica era andata peggio, nonostante la media fosse positiva. L'articolo descrive inoltre Tempur-Pedic che usa l'FVA per rendere visibile un processo collaborativo, sfidando i venditori a battere la previsione statistica, il che ha ridotto le correzioni superflue. Sono casi di aziende di beni di consumo, non della moda, e i risultati varieranno per categoria.

Come interpretare i risultati in modo equo?

• Segmentare per tipo di articolo: articoli core, fashion e nuovi si comportano in modo diverso, e una correzione che aiuta per i nuovi stili può danneggiare le linee core.
• Controllare un numero sufficiente di periodi: poche settimane possono favorire l'una o l'altra parte per fortuna.
• Etichettare le correzioni con un motivo, per vedere se motivi come una campagna nota o un vincolo di fornitura aggiungono valore.
• Testare con una logica out-of-sample: le previsioni devono essere congelate prima dei dati effettivi, altrimenti il confronto è contaminato.
• Riportare la distorsione della previsione accanto all'accuratezza: i pianificatori aggiungono spesso ottimismo, che le misure di accuratezza possono nascondere.

La scelta della metrica conta. Il manuale di Hyndman e Athanasopoulos elenca gli svantaggi del MAPE: è indefinito quando un valore effettivo è zero, instabile vicino a zero e penalizza più gli errori negativi di quelli positivi. Gli errori scalati come il MASE dividono per l'errore di una previsione naive, quindi un valore inferiore a 1 batte il benchmark naive. Per dati di moda con molti zeri, un errore ponderato aggregato o un errore scalato è di solito più sicuro di un semplice MAPE.

Quali sono le critiche all'FVA?

Un articolo di Foresight del 2024 di Conor Doherty di Lokad sostiene che l'FVA abbia valore limitato come strumento continuativo. I suoi punti principali sono che l'FVA mostra correlazione e non causalità, quindi una correzione positiva può essere fortuna; che si basa su previsioni puntuali e ignora l'incertezza; che l'accuratezza non è profitto; che diagnostica ma non spiega; e che, una volta che l'accuratezza diventa una misura di performance, le persone possono cambiare comportamento per apparire bene. Osserva inoltre che l'FVA può aggiungere burocrazia. Lokad vende software di previsione, quindi i lettori dovrebbero pesare l'argomentazione tenendo presente questo interesse.

La critica ammette che l'FVA possa essere utile come verifica di realtà una tantum, che mostra a previsori troppo sicuri di sé quanto possano essere inaffidabili le correzioni manuali. Dalle due fonti discende una pratica equilibrata: usare l'FVA per mettere alla prova le affermazioni, ad esempio se un modello batte il pianificatore, e affiancarlo a misure finanziarie come il costo dei ribassi e le vendite perse, in modo che i guadagni di accuratezza siano legati al denaro.

Leggi anche

IA per merchandiser e planner: una guida pratica

Come si trasforma il risultato in una decisione?

Se il modello batte il benchmark naive ma la previsione finale è peggiore del modello, si limitino le correzioni a situazioni definite, come campagne confermate, richiedendo un motivo. Se il modello non batte il benchmark, si guardi prima a qualità dei dati, livello gerarchico a cui si prevede e gestione delle rotture di stock, prima di sostituire il modello. Se i pianificatori battono il modello per particolari gruppi, come i nuovi stili, lo si consideri un'informazione su dove al modello mancano input, non un verdetto sull'intero approccio.