Comment mesurer la précision des prévisions dans la mode ? MAPE, WAPE, biais et MASE
La précision des prévisions détermine si un outil de planification par IA vaut son coût, et pourtant l'indicateur le plus répandu est mal adapté à la mode. Un guide pratique du MAPE, du WAPE, du biais et du MASE, et de ce qu'est un bon résultat.
L'ESSENTIEL Résumé de la rédaction
- Dans la mode, la précision des prévisions doit se mesurer avec au moins deux chiffres : un indicateur de l'ampleur de l'erreur, comme le WAPE ou le MASE, et un indicateur de biais qui montre si les prévisions sont systématiquement trop hautes ou trop basses.
- Le MAPE n'est pas défini lorsque les ventes réelles sont nulles et devient extrême lorsqu'elles sont proches de zéro, ce qui le rend peu fiable pour les tailles, coloris et magasins à faible rotation.
- Le MASE, proposé par Hyndman et Koehler, rapporte les erreurs à celles d'une prévision naïve simple : une valeur inférieure à un signifie que la prévision fait mieux que cette référence naïve.
- La précision doit être mesurée au niveau où les décisions sont prises, par exemple modèle-coloris par semaine ou par magasin, car la précision agrégée masque les erreurs qui provoquent démarques et ruptures de stock.
- Il n'existe pas de chiffre universel de bonne précision pour la mode : le test pertinent est l'amélioration par rapport à la méthode actuelle sur les mêmes produits, le même horizon et le même niveau.
Dans la mode, la précision des prévisions se mesure au mieux avec un indicateur d'erreur qui tolère les ventes faibles ou nulles, comme le WAPE ou le MASE, complété par une mesure distincte du biais. Le MAPE, l'indicateur le plus cité, ne fonctionne pas sur les articles à faible rotation et ne devrait pas être le seul chiffre du tableau de bord. Ce qui constitue un bon résultat dépend du niveau, de l'horizon et du type de produit : la précision doit donc toujours être évaluée par rapport à une référence sur les mêmes données.
Pourquoi la précision des prévisions est-elle si importante dans la mode ?
Chaque décision d'achat, d'allocation et de réassort repose sur une prévision. La surprévision se traduit par des surstocks et des démarques ; la sous-prévision, par des ruptures de stock et des ventes à plein prix perdues. Lorsqu'une marque évalue un outil de prévision par IA, la précision est aussi la principale preuve de son retour sur investissement. Si la mesure est fausse, l'analyse de rentabilité l'est aussi.
Quels sont les principaux indicateurs de précision des prévisions ?
Le manuel Forecasting: Principles and Practice de Hyndman et Athanasopoulos classe les mesures de précision en erreurs dépendantes de l'échelle, erreurs en pourcentage et erreurs normalisées. Le tableau résume les indicateurs les plus utilisés en planification retail.
| Indicateur | Ce qu'il mesure | Point fort | Faiblesse dans la mode |
|---|---|---|---|
| MAE (erreur absolue moyenne) | Ampleur moyenne de l'erreur en unités | Facile à expliquer | Ne permet pas de comparer des articles aux volumes différents |
| RMSE (racine de l'erreur quadratique moyenne) | Erreur avec une pondération plus forte des gros écarts | Met en évidence les gros écarts | Sensible aux valeurs aberrantes ; dépend des unités |
| MAPE (erreur absolue moyenne en pourcentage) | Erreur moyenne en pourcentage des valeurs réelles | Sans unité, intuitif | Non défini à zéro vente ; extrême près de zéro |
| WAPE (erreur absolue pondérée en pourcentage) | Erreur absolue totale divisée par les ventes réelles totales | Robuste pour les articles à faible volume | Dominé par les articles à fort volume |
| MASE (erreur absolue moyenne normalisée) | Erreur rapportée à celle d'une prévision naïve | Comparable entre articles ; fonctionne avec des zéros | Moins intuitif pour les utilisateurs métier |
| Biais | Erreur moyenne signée (sur ou sous) | Montre une orientation systématique | Ne dit rien de l'ampleur de l'erreur |
Quel est le problème du MAPE pour les prévisions dans la mode ?
Le MAPE divise chaque erreur par la valeur réelle. Hyndman et Athanasopoulos notent que les mesures en pourcentage sont infinies ou non définies lorsqu'une valeur réelle est nulle, et donnent des résultats extrêmes lorsque les valeurs réelles sont proches de zéro. Dans la mode, les ventes nulles ou quasi nulles sont omniprésentes : une taille 34 dans un magasin, un coloris de niche, la première ou la dernière semaine de vie d'un produit.
Dans leur article Another look at measures of forecast accuracy, Hyndman et Koehler vont plus loin : pour une demande intermittente portant sur de petits volumes, la fréquence des zéros rend les mesures en pourcentage inutilisables. Ils soulignent aussi que la compétition de prévision M3 a contourné le problème en excluant ces données, une solution qui n'est pas disponible en pratique. Le manuel ajoute un second problème : le MAPE pénalise davantage les erreurs négatives que les erreurs positives, ce qui peut pousser les équipes vers des prévisions systématiquement basses.
Que doivent utiliser les équipes de la mode à la place ?
Deux alternatives sont largement utilisées. Le WAPE additionne les erreurs absolues de tous les articles et les divise par les ventes totales, si bien qu'une taille mal prévue sur un article lent ne fait pas exploser le résultat. C'est l'indicateur retenu, par exemple, dans les travaux VISUELLE de Skenderi et de ses collègues sur les nouveaux produits de fast fashion. Son inconvénient est que les best-sellers dominent le chiffre : il doit donc être lu avec une ventilation par segment de produits.
Le MASE, proposé par Hyndman et Koehler, rapporte chaque erreur à l'erreur d'une prévision naïve simple sur les données historiques. Une valeur inférieure à un signifie que la prévision fait mieux que cette référence naïve ; supérieure à un, qu'elle fait moins bien. Comme il reste défini en présence de zéros, il convient aux données granulaires de la mode et intègre une référence dans l'indicateur lui-même.
Pourquoi mesurer le biais séparément ?
Les indicateurs d'erreur mesurent l'ampleur, pas l'orientation. Une prévision peut afficher un WAPE acceptable tout en surestimant constamment de quelques pour cent, ce qui accumule discrètement des surstocks saison après saison. Le biais correspond à l'erreur moyenne signée, ou au total prévu moins le total réel rapporté au total réel. Il doit être suivi par catégorie, par canal et par ajustement manuel des planificateurs, car l'optimisme systématique s'introduit souvent par les ajustements manuels plutôt que par le modèle.
Le choix de l'indicateur détermine aussi ce qu'un modèle optimise. Le manuel note qu'une méthode qui minimise la MAE produit des prévisions de la médiane, tandis que minimiser la RMSE produit des prévisions de la moyenne. Pour une demande de mode asymétrique, les deux peuvent nettement différer : l'indicateur inscrit dans un contrat fournisseur définit donc, de fait, le type de prévision livrée.
À quel niveau la précision doit-elle être mesurée ?
La précision s'améliore à mesure que les données sont agrégées : une même prévision peut sembler excellente au niveau marque-mois et médiocre au niveau modèle-coloris-taille-magasin-semaine. Mesurez au niveau où la décision est prise.
- Achat : modèle ou modèle-coloris, sur la saison entière, au délai auquel l'achat est engagé.
- Allocation : modèle-coloris par magasin ou par cluster, par semaine.
- Réapprovisionnement et réassort : SKU par emplacement, sur le délai de réapprovisionnement.
- Planification financière : catégorie par mois, niveau auquel la précision agrégée est appropriée.
Les ventes doivent aussi être corrigées des ruptures de stock avant la mesure. Une prévision juste sur la demande paraît fausse si le produit a été épuisé et que les ventes enregistrées ont été plafonnées.
À quoi ressemble une bonne précision des prévisions ?
Il n'existe pas d'objectif fiable valable pour toute la mode, et tout fournisseur qui avance un pourcentage universel doit être interrogé sur sa méthode de mesure. La recherche publiée donne un ordre de grandeur : dans l'étude de Fisher et Vaidyanathan sur la prévision de nouveaux produits dans des catégories retail, les erreurs sur les parts de ventes allaient de 16,2 % à 28,7 % de MAPE, à un niveau agrégé et en dehors de la mode. Les prévisions granulaires dans la mode affichent généralement des erreurs bien plus élevées.
Il en découle une routine d'évaluation pratique.
- Fixer le niveau de décision et le délai pour chaque cas d'usage avant le test.
- Mettre de côté une saison passée que le modèle n'a pas vue et la prévoir comme en conditions réelles.
- Présenter le WAPE ou le MASE, ainsi que le biais, par catégorie, par canal et pour les nouveaux produits par rapport aux reconductions.
- Comparer avec la prévision actuelle des planificateurs et avec une référence naïve simple.
- Traduire la réduction d'erreur en effets sur les stocks et la marge, afin que la finance puisse juger le retour sur investissement.
Questions fréquentes
Qu'est-ce qu'un bon MAPE pour la prévision dans la mode ?
Il n'existe pas de bon MAPE universel pour la mode, car la précision dépend fortement du niveau, de l'horizon et du type de produit. Le MAPE est en outre peu fiable pour les articles à faible volume, puisqu'il n'est pas défini à zéro vente. Mieux vaut comparer le WAPE ou le MASE avec votre méthode actuelle sur les mêmes données.
Quelle est la différence entre le MAPE et le WAPE ?
Le MAPE fait la moyenne de l'erreur en pourcentage de chaque article, si bien qu'un petit article avec un gros écart en pourcentage peut fausser le résultat. Le WAPE divise l'erreur absolue totale par les ventes réelles totales, ce qui le rend robuste pour les articles à faible volume mais donne plus de poids aux best-sellers.
Qu'est-ce que le biais de prévision ?
Le biais de prévision est la tendance des prévisions à être systématiquement trop hautes ou trop basses. Il se mesure par l'erreur moyenne signée, et il compte dans la mode parce qu'un biais positif persistant accumule surstocks et démarques, même lorsque l'ampleur de l'erreur semble acceptable.
Que signifie un MASE inférieur à 1 ?
Un MASE inférieur à 1 signifie que l'erreur moyenne de la prévision est plus faible que celle d'une prévision naïve simple sur les données historiques. C'est une vérification rapide qu'un modèle, ou un outil d'IA, apporte une valeur au-delà d'une référence de base.
Une édition chaque jour ouvrable. Lue en cinq minutes. Gratuite pour les professionnels.
SOURCES
- Hyndman and Athanasopoulos, Forecasting: Principles and Practice (3rd ed.): Evaluating point forecast accuracy
- Rob J. Hyndman: Another look at measures of forecast accuracy (Hyndman and Koehler)
- arXiv: Well Googled is Half Done, multimodal forecasting of new fashion product sales with image-based Google Trends (Skenderi et al.)
- IDEAS/RePEc: A Demand Estimation Procedure for Retail Assortment Optimization with Results from Implementations (Fisher and Vaidyanathan, Management Science 2014)
