- Home
- Chi sono
- Studi e pubblicazioni
- Delphi, previsioni di vendita
Previsioni di vendita e-commerce: con Delphi, l'oracolo che mostra anche quanto può sbagliare
Ho messo alla prova Delphi, il servizio della mia agenzia per prevedere vendite, ordini e domanda, su due anni di ordini di un negozio online vero. Qui trovi i dati, il metodo, quanto il modello sbaglia e dove invece non basta.
La linea ambra è la previsione vera del fatturato totale dal 10 dicembre 2011, le fasce sono l'incertezza.
Foto: Walkerssk, Pixabay, Licenza dei contenuti Pixabay; ridimensionata e convertita in WebP.
- MASE 209M0,876▲ 12% meglio
- MASE 28M0,899▲ 10% meglio
- MASE 5M0,917▲ 8% meglio
- Irlanda0,69▲ 31% meglio
- Paesi Bassi0,78▲ 22% meglio
- Totale0,90▲ 10% meglio
- Regno Unito0,99= pari
- Germania1,01▼ 1% peggio
- Banda 80%85%dei valori dentro
- Righe pulite997.35993,4%
- Fatturato19,0 mln £739 giorni
- Orizzonte28 ggbande 5-95%
- Backtest13 s5 serie, Mac
Perché prevedere le vendite
Un negozio online prende ogni giorno decisioni che dipendono da quello che succederà dopo. Quasi sempre le prende a memoria o con la media dell'anno scorso.
- Scorte
- Quanta merce ordinare ora, sapendo che il fornitore consegna tra settimane. Troppa blocca soldi, troppo poca fa perdere ordini.
- Pubblicità
- Quanto spendere la settimana prossima. Se la domanda sale da sola, spingere con gli annunci costa più di quanto renda.
- Personale
- Quante persone servono in magazzino e al supporto nei giorni di punta, e quando si può staccare.
- Cassa
- Quanta liquidità serve per pagare i fornitori prima di incassare dagli ordini.
Una previsione utile non è un numero solo, è un intervallo: il valore più probabile e quanto può scostarsi. Delphi restituisce i quantili dall'1% al 99%, e più sotto vedi come li uso per decidere quanta merce tenere.
Il dataset: un negozio britannico di articoli da regalo
Per non usare dati di clienti ho scelto un dataset pubblico, Online Retail II, che raccoglie gli ordini di un e-commerce britannico dal 1° dicembre 2009 al 9 dicembre 2011. Ho letto 1.067.371 righe e ne ho tenute 997.359, il 93,4%, dopo la pulizia: via resi e annullamenti, prezzi nulli e voci che non sono prodotti, e gli acquisti poi annullati (stesso cliente, articolo e quantità): 6.332 righe, 673.293 £ di vendite mai avvenute, tra cui 80.995 pezzi il 9/12/2011 e 74.215 il 18/1/2011.
Ho sommato gli ordini per giorno e per paese. I giorni senza ordini valgono zero: sono 135 su 739, soprattutto sabati e chiusure natalizie. Le serie sono cinque: Totale, Regno Unito, Irlanda, Paesi Bassi e Germania.
- Dataset
- Online Retail II
- Autore
- Daqing Chen
- Archivio
- UCI Machine Learning Repository
- Periodo
- 1/12/2009 – 9/12/2011, 739 giorni
- Fatturato
- 19,0 milioni di sterline, media 25.773 £ al giorno
- Licenza
- CC BY 4.0
Citazione: Chen, D., Online Retail II, UCI Machine Learning Repository, https://doi.org/10.24432/C5CG6D, licenza CC BY 4.0.
Il metodo, passo per passo
Sotto il cofano di Delphi c'è Timestral di Mistral AI, un modello di base per serie storiche con licenza open source, usato tramite una riga di comando in Python che ho sviluppato io, tsf.
Pulizia
Tolgo resi, annullamenti, prezzi nulli e voci che non sono prodotti. Il dataset resta al 93,4%. Anche gli acquisti poi annullati vanno tolti: un solo ordine annullato rimasto nei dati può far sembrare il modello molto peggio di com'è, per questo la pulizia viene prima del modello.
Serie giornaliere
Sommo il fatturato per giorno, per ogni paese e per il totale. I giorni senza ordini diventano zero.
Modello di base, senza addestramento
Timestral non ha mai visto questo negozio: legge lo storico e restituisce la previsione con i quantili dall'1% al 99%. In gergo si dice zero-shot. Le taglie provate sono tre, da 5, 28 e 209 milioni di parametri.
Backtest rolling-origin
Nascondo gli ultimi 28 giorni, prevedo e confronto con quello che è successo davvero. Poi faccio scorrere la finestra indietro per tre volte, in tutto quattro finestre.
Metriche
Calcolo MAE, RMSE, MASE, WQL e la copertura delle bande. Lascio fuori la sMAPE: con i giorni a zero vendite diventa inaffidabile.
# una riga per serie, 28 giorni avanti,
# holdout di 28 giorni più 3 finestre
tsf forecast vendite.csv \
--time data --series paese \
--target fatturato \
--horizon 28 \
--backtest 28 --folds 3 \
--model 209m
Forma del comando, con nomi di colonna di esempio. Il CSV entra, previsione e backtest escono in file. I pesi del modello stanno in una cache locale e nessun dato esce dal server.
Esplora la previsione
Scegli una serie. Il grafico mostra gli ultimi 120 giorni veri e i 28 giorni previsti dal modello da 209 milioni di parametri. Passa il puntatore sul grafico, oppure usa le frecce della tastiera, per leggere i valori in sterline.
Sposta il puntatore sul grafico o premi Tab e le frecce per leggere un giorno.
Tabella dei 28 giorni previsti
Quale modello? I risultati del backtest
Tutti e tre i modelli stanno sotto 1: battono, di poco (dall'8% al 12% circa), il metodo «stessa settimana scorsa». Le bande sono credibili: quella nominale dell'80% copre tra l'81% e l'87% dei giorni, quella del 90% tra il 91% e il 94%. Le differenze tra i modelli però sono più piccole della variabilità tra serie e finestre, e le barre di errore lo mostrano.
MASE medio con barra di errore pari a una deviazione standard, aggregato su serie e finestre. La linea a 1 è il metodo «stessa settimana scorsa»: più a sinistra è meglio.
La famiglia Timestral ha anche una taglia da 123 milioni di parametri, che in questo test non ho misurato.
Per paese, con il modello da 209M
Media delle finestre di backtest. Sotto 1 il modello batte il metodo semplice, sopra 1 no.
Tabella dei valori
Come leggere le metriche
- MASE
- Errore diviso per quello del metodo «stessa settimana scorsa». Sotto 1 il modello è meglio, sopra 1 è peggio.
- MAE
- Errore medio assoluto in sterline al giorno.
- RMSE
- Come il MAE, ma pesa di più gli errori grandi.
- WQL
- Errore pesato sui quantili: giudica tutta la distribuzione prevista, non solo la mediana.
- Copertura
- Quante volte il valore vero cade dentro la banda. Una banda all'80% dovrebbe contenerlo l'80% delle volte.
- sMAPE
- Errore in percentuale. Con i giorni a zero vendite è inaffidabile, quindi non la uso.
Dove il modello sbaglia
Sopra 1 vuol dire peggio del metodo semplice. Sulla Germania lo stesso modello fa 1,14; con il 28M il Totale è 1,04 e il Regno Unito 1,14.
L'ultima finestra di backtest copre le quattro settimane fino al 9 dicembre 2011, il picco prima di Natale. Lì il vantaggio si riduce o sparisce su alcuni paesi: con il modello da 209M il Totale batte la stessa settimana scorsa, mentre Regno Unito e Germania sono leggermente peggio. È un limite vero, e lo scrivo.
Il motivo è che il modello guarda solo i numeri passati: non sa che a dicembre ci sono le feste, le chiusure e le promozioni. Per questo Delphi accetta anche eventi e calendario come covariate, per esempio promozioni e festività, con le opzioni --known-col e --future-csv della riga di comando. In questo esperimento non le ho usate: è il punto da migliorare.
C'è anche una lezione sui dati: un solo ordine annullato non tolto può far sembrare il modello molto peggio di com'è. Nei dati di questo esperimento bastavano due ordini poi annullati, il 9/12/2011 e il 18/1/2011, per far sembrare il modello molto peggio di com'è nell'ultima finestra.
- Un solo dataset, di un solo negozio, con dati del 2009-2011: i tuoi numeri vanno misurati con lo stesso backtest prima di fidarsi.
- L'unico confronto è con la stessa settimana scorsa. Non l'ho confrontato con altri modelli statistici.
- Sulle serie piccole, con molti giorni a zero, la mediana resta vicino a zero e dice poco: conta la banda.
- La sMAPE non è affidabile con i giorni senza vendite, e infatti non la riporto.
- Le previsioni sono stime con un margine di errore, non promesse.
Quanto stock ordinare?
Scegli una serie e quanto vuoi essere al riparo da una domanda più alta del previsto. Il widget somma, giorno per giorno, il quantile corrispondente alle prossime settimane. È un esempio didattico, in sterline e sui dati pubblici.
Come leggerlo: sommare i quantili giorno per giorno dà una stima prudente, perché i giorni non vanno tutti al massimo insieme; non è il quantile esatto del totale. Il risultato è fatturato in sterline: per trasformarlo in pezzi da ordinare servono prezzi, margini e assortimento.
Tabella: livelli e orizzonti per la serie scelta
Come lo applico a un e-commerce cliente
Non parto dal modello, parto dai tuoi dati e dalla decisione che vuoi prendere.
Cosa mi serve
- Lo storico degli ordini esportato in CSV: data e importo, e se li hai paese, categoria o prodotto.
- Il calendario di promozioni e campagne, passate e già decise, da usare come covariate.
Cosa ti consegno
- La previsione con le bande, per le serie che ti servono.
- Il backtest sui tuoi dati, con le stesse metriche di questa pagina, così vedi se il modello batte il tuo metodo attuale prima di usarlo.
- La scelta della taglia del modello e delle covariate.
Dove gira
- Sul server, con i pesi in una cache locale: nessun dato esce.
Fonti e crediti
- Dataset: Chen, D., Online Retail II, UCI Machine Learning Repository, doi.org/10.24432/C5CG6D, licenza CC BY 4.0.
- Modello: Timestral di Mistral AI, github.com/mistralai/timestral, taglie da 5, 28, 123 e 209 milioni di parametri.
- MASE: Hyndman e Koehler, «Another look at measures of forecast accuracy», International Journal of Forecasting, 2006.
- Foto di Delfi: Walkerssk, Pixabay, Licenza dei contenuti Pixabay.
- I numeri dei grafici vengono da un solo esperimento, con orizzonte di 28 giorni, holdout di 28 giorni, tre finestre rolling-origin, stagionalità 7 e CPU di un Mac.
Vuoi vedere cosa prevede Delphi sui tuoi ordini?
Raccontami che cosa vendi e quali decisioni vuoi prendere: ti dico se i tuoi dati bastano e come lo misuriamo.






