Forecast Value Added: Nachweisen, dass ein Modell den Planer schlägt

Um nachzuweisen, dass ein Modell einen Planer schlägt, vergleichen Sie beide auf denselben Artikeln und in denselben Perioden mit demselben einfachen Benchmark, anhand von Prognosen, die eingefroren wurden, bevor die tatsächlichen Verkäufe bekannt waren. Die Methode dafür heisst Forecast Value Added, kurz FVA: Sie misst, ob jeder Schritt im Prognoseprozess die Prognose gegenüber dem vorherigen Schritt besser oder schlechter macht.

Diese Praxisanleitung erklärt die Methode, die nötigen Daten, ein schrittweises Vorgehen, die Deutung der Ergebnisse und die Kritik, die den Umgang damit prägen sollte.

Was ist Forecast Value Added?

Laut einem Artikel in Foresight ist FVA die Veränderung einer Leistungskennzahl, meist einer MAPE-Variante, die einem bestimmten Schritt oder Beteiligten im Prognoseprozess zuzurechnen ist. Mike Gilliland, ein Prognosepraktiker bei SAS, führte sie in Foresight: The International Journal of Applied Forecasting, Frühjahr 2013, Ausgabe 29, ein. Der Artikel nennt als typischen Prozess: Verkaufshistorie, Prognosemodell, statistische Prognose, Korrektur durch das Management, endgültige Prognose.

Jeder Schritt wird mit dem vorherigen verglichen. Ein positiver FVA heisst, dass der Schritt die Prognose verbessert hat, ein negativer, dass er sie verschlechtert hat. Das Ergebnis wird oft als Treppenbericht mit einer Zeile je Schritt dargestellt. Im Anschauungsbeispiel des Artikels hat eine naive Prognose einen MAPE von 50 %, die statistische Prognose 40 % und die endgültige Prognose 42 %, sodass der statistische Schritt Wert schafft und der Korrekturschritt einen Teil davon vernichtet.

Warum mit einem naiven Benchmark beginnen?

Die naive Prognose ist eine günstige, ehrliche Ausgangsbasis. Der Artikel in Foresight definiert sie als Random-Walk- oder No-Change-Modell, bei dem der letzte beobachtete Wert zur Prognose für alle künftigen Perioden wird. Für saisonale Daten beschreibt das Lehrbuch von Hyndman und Athanasopoulos die saisonal naive Prognose, bei der jede Prognose den Wert derselben Saison des letzten Jahres übernimmt. Das Lehrbuch hält fest, dass jede neue Prognosemethode mit diesen einfachen Methoden verglichen werden sollte und dass sie nicht in Betracht zu ziehen ist, wenn sie diese nicht schlagen kann.

In der Mode braucht ein naiver Benchmark Überlegung. Styles sind kurzlebig, sodass der Vorjahreswert für denselben Style womöglich nicht existiert. Gängige Ersatzlösungen sind derselbe Zeitraum des Vorjahres auf Kategorieebene oder ein gleitender Durchschnitt der ersten Verkaufswochen. Was auch immer gewählt wird: Dokumentieren Sie es und halten Sie es fest.

Lesen Sie auch

Wie Abercrombie and Fitch Sortimente und Bestände plant: Was zu KI öffentlich bekannt ist

Wie führen Sie eine FVA-Analyse Schritt für Schritt durch?

1. Erfassen Sie Ihren Prozess: Listen Sie jeden Schritt von der Historie bis zur endgültigen Konsensprognose und die daran Beteiligten auf.
2. Halten Sie die Prognosen fest: Speichern Sie für jeden Artikel, Standort und jede Periode die statistische Prognose, die endgültige Prognose und den Istwert. Frieren Sie sie zum Zeitpunkt der Prognose ein.
3. Wählen Sie die Kennzahl: Verwenden Sie ein Mass, das zu dünnen Daten passt, zum Beispiel den gewichteten absoluten prozentualen Fehler auf aggregierter Ebene, plus ein Mass für die Verzerrung.
4. Wählen Sie den Benchmark: naiv oder saisonal naiv, oder einen einfachen gleitenden Durchschnitt, wenn die Historie kurz ist.
5. Berechnen Sie die Kennzahl für jeden Schritt und die Differenz zwischen den Schritten, nach Artikelgruppe und insgesamt.
6. Betrachten Sie die Verteilung, nicht nur den Durchschnitt: Ein positiver Durchschnitt kann viele Artikel verbergen, bei denen das Modell schlechter war.

Dieser letzte Punkt stammt aus dem Fall im Artikel in Foresight selbst. Bei Newell Rubbermaid brachte der Wechsel von naiver zu statistischer Prognose, wie Schubert und Rickard 2011 berichteten, etwa 5 % mehr Genauigkeit, während Expertenkorrekturen die Genauigkeit um etwa 2 % verringerten. Histogramme des FVA auf Artikelebene zeigten viele Artikel, bei denen die statistische Prognose schlechter abschnitt, obwohl der Durchschnitt positiv war. Der Artikel beschreibt zudem, wie Tempur-Pedic FVA nutzte, um einen kollaborativen Prozess sichtbar zu machen, und Verkäufer herausforderte, die statistische Prognose zu schlagen, was unnötige Anpassungen verringerte. Das sind Fälle aus Konsumgüterunternehmen, nicht aus der Mode, und die Ergebnisse werden je nach Kategorie abweichen.

Wie deuten Sie die Ergebnisse fair?

• Segmentieren Sie nach Artikeltyp: Core-, Fashion- und neue Artikel verhalten sich unterschiedlich, und eine Korrektur, die bei neuen Styles hilft, kann bei Core-Linien schaden.
• Prüfen Sie genügend Perioden: Wenige Wochen können durch Zufall die eine oder andere Seite begünstigen.
• Versehen Sie Korrekturen mit einer Begründung, damit Sie sehen, ob Gründe wie eine bekannte Kampagne oder eine Lieferrestriktion Wert schaffen.
• Testen Sie nach einer Out-of-Sample-Logik: Prognosen müssen vor den Istwerten eingefroren sein, sonst ist der Vergleich verfälscht.
• Berichten Sie die Verzerrung der Prognose neben der Genauigkeit: Planer fügen oft Optimismus hinzu, den Genauigkeitsmasse verbergen können.

Die Wahl der Kennzahl ist wichtig. Das Lehrbuch von Hyndman und Athanasopoulos listet Nachteile des MAPE auf: Er ist undefiniert, wenn ein Istwert null ist, in der Nähe von null instabil und bestraft negative Fehler stärker als positive. Skalierte Fehler wie der MASE teilen durch den Fehler einer naiven Prognose, sodass ein Wert unter 1 den naiven Benchmark schlägt. Bei Modedaten mit vielen Nullen ist ein aggregierter gewichteter Fehler oder ein skalierter Fehler meist sicherer als ein einfacher MAPE.

Welche Kritik gibt es an FVA?

Ein Artikel von Conor Doherty von Lokad in Foresight aus dem Jahr 2024 argumentiert, FVA habe als laufendes Werkzeug nur begrenzten Wert. Seine Hauptpunkte sind: FVA zeige Korrelation statt Kausalität, eine positive Korrektur könne also Glück sein; es stütze sich auf Punktprognosen und ignoriere Unsicherheit; Genauigkeit sei nicht Gewinn; es diagnostiziere, erkläre aber nicht; und sobald Genauigkeit zur Leistungsmessung werde, könnten Menschen ihr Verhalten ändern, um gut dazustehen. Er merkt zudem an, FVA könne Bürokratie erzeugen. Lokad verkauft Prognosesoftware, daher sollten Leser das Argument mit diesem Interesse im Hinterkopf abwägen.

Die Kritik räumt ein, dass FVA als einmalige Realitätsprüfung nützlich sein kann, die übermässig selbstsicheren Prognostikern zeigt, wie unzuverlässig manuelle Korrekturen sein können. Aus beiden Quellen ergibt sich eine ausgewogene Praxis: Nutzen Sie FVA, um Behauptungen zu testen, etwa ob ein Modell den Planer schlägt, und ergänzen Sie es um finanzielle Kennzahlen wie Abschriftenkosten und entgangene Verkäufe, damit Genauigkeitsgewinne an Geld gebunden werden.

Lesen Sie auch

KI für Merchandiser und Planer: ein Praxisleitfaden

Wie machen Sie aus dem Ergebnis eine Entscheidung?

Schlägt das Modell den naiven Benchmark, ist aber die endgültige Prognose schlechter als das Modell, beschränken Sie Korrekturen auf definierte Situationen, etwa bestätigte Kampagnen, und verlangen Sie eine Begründung. Schlägt das Modell den Benchmark nicht, prüfen Sie zuerst Datenqualität, die Hierarchieebene, auf der Sie prognostizieren, und den Umgang mit Out-of-Stock-Situationen, bevor Sie das Modell ersetzen. Schlagen Planer das Modell bei bestimmten Gruppen, etwa neuen Styles, behandeln Sie das als Information darüber, wo dem Modell Eingaben fehlen, nicht als Urteil über den gesamten Ansatz.