Il tholos del santuario di Delfi al tramonto, tra le montagne della Focide
  1. Home
  2. Chi sono
  3. Studi e pubblicazioni
  4. Delphi, previsioni di vendita

Previsioni di vendita e-commerce: con Delphi, l'oracolo che mostra anche quanto può sbagliare

Ho messo alla prova Delphi, il servizio della mia agenzia per prevedere vendite, ordini e domanda, su due anni di ordini di un negozio online vero. Qui trovi i dati, il metodo, quanto il modello sbaglia e dove invece non basta.

La linea ambra è la previsione vera del fatturato totale dal 10 dicembre 2011, le fasce sono l'incertezza.

Foto: Walkerssk, Pixabay, Licenza dei contenuti Pixabay; ridimensionata e convertita in WebP.

  • MASE 209M0,876▲ 12% meglio
  • MASE 28M0,899▲ 10% meglio
  • MASE 5M0,917▲ 8% meglio
  • Irlanda0,69▲ 31% meglio
  • Paesi Bassi0,78▲ 22% meglio
  • Totale0,90▲ 10% meglio
  • Regno Unito0,99= pari
  • Germania1,01▼ 1% peggio
  • Banda 80%85%dei valori dentro
  • Righe pulite997.35993,4%
  • Fatturato19,0 mln £739 giorni
  • Orizzonte28 ggbande 5-95%
  • Backtest13 s5 serie, Mac

Perché prevedere le vendite

Un negozio online prende ogni giorno decisioni che dipendono da quello che succederà dopo. Quasi sempre le prende a memoria o con la media dell'anno scorso.

ordini persi merce ferma ordine ― domanda vera
Sbagliare costa in due modi. Quando la domanda supera l'ordine si perdono vendite; quando resta sotto, la merce ferma blocca soldi. La previsione con le bande serve a scegliere quanto rischio accettare. Schema illustrativo, non dati.
Scorte
Quanta merce ordinare ora, sapendo che il fornitore consegna tra settimane. Troppa blocca soldi, troppo poca fa perdere ordini.
Pubblicità
Quanto spendere la settimana prossima. Se la domanda sale da sola, spingere con gli annunci costa più di quanto renda.
Personale
Quante persone servono in magazzino e al supporto nei giorni di punta, e quando si può staccare.
Cassa
Quanta liquidità serve per pagare i fornitori prima di incassare dagli ordini.

Una previsione utile non è un numero solo, è un intervallo: il valore più probabile e quanto può scostarsi. Delphi restituisce i quantili dall'1% al 99%, e più sotto vedi come li uso per decidere quanta merce tenere.

Il dataset: un negozio britannico di articoli da regalo

Per non usare dati di clienti ho scelto un dataset pubblico, Online Retail II, che raccoglie gli ordini di un e-commerce britannico dal 1° dicembre 2009 al 9 dicembre 2011. Ho letto 1.067.371 righe e ne ho tenute 997.359, il 93,4%, dopo la pulizia: via resi e annullamenti, prezzi nulli e voci che non sono prodotti, e gli acquisti poi annullati (stesso cliente, articolo e quantità): 6.332 righe, 673.293 £ di vendite mai avvenute, tra cui 80.995 pezzi il 9/12/2011 e 74.215 il 18/1/2011.

Ho sommato gli ordini per giorno e per paese. I giorni senza ordini valgono zero: sono 135 su 739, soprattutto sabati e chiusure natalizie. Le serie sono cinque: Totale, Regno Unito, Irlanda, Paesi Bassi e Germania.

Verde: 997.359 righe tenute (93,4%). Marrone: 70.012 righe scartate dalla pulizia (6,6%, differenza tra righe lette e tenute).
Dataset
Online Retail II
Autore
Daqing Chen
Archivio
UCI Machine Learning Repository
Periodo
1/12/2009 – 9/12/2011, 739 giorni
Fatturato
19,0 milioni di sterline, media 25.773 £ al giorno
Licenza
CC BY 4.0

Citazione: Chen, D., Online Retail II, UCI Machine Learning Repository, https://doi.org/10.24432/C5CG6D, licenza CC BY 4.0.

Il metodo, passo per passo

Sotto il cofano di Delphi c'è Timestral di Mistral AI, un modello di base per serie storiche con licenza open source, usato tramite una riga di comando in Python che ho sviluppato io, tsf.

  1. Pulizia

    Tolgo resi, annullamenti, prezzi nulli e voci che non sono prodotti. Il dataset resta al 93,4%. Anche gli acquisti poi annullati vanno tolti: un solo ordine annullato rimasto nei dati può far sembrare il modello molto peggio di com'è, per questo la pulizia viene prima del modello.

  2. Serie giornaliere

    Sommo il fatturato per giorno, per ogni paese e per il totale. I giorni senza ordini diventano zero.

  3. Modello di base, senza addestramento

    Timestral non ha mai visto questo negozio: legge lo storico e restituisce la previsione con i quantili dall'1% al 99%. In gergo si dice zero-shot. Le taglie provate sono tre, da 5, 28 e 209 milioni di parametri.

  4. Backtest rolling-origin

    Nascondo gli ultimi 28 giorni, prevedo e confronto con quello che è successo davvero. Poi faccio scorrere la finestra indietro per tre volte, in tutto quattro finestre.

  5. Metriche

    Calcolo MAE, RMSE, MASE, WQL e la copertura delle bande. Lascio fuori la sMAPE: con i giorni a zero vendite diventa inaffidabile.

# una riga per serie, 28 giorni avanti,
# holdout di 28 giorni più 3 finestre
tsf forecast vendite.csv \
  --time data --series paese \
  --target fatturato \
  --horizon 28 \
  --backtest 28 --folds 3 \
  --model 209m

Forma del comando, con nomi di colonna di esempio. Il CSV entra, previsione e backtest escono in file. I pesi del modello stanno in una cache locale e nessun dato esce dal server.

Esplora la previsione

Scegli una serie. Il grafico mostra gli ultimi 120 giorni veri e i 28 giorni previsti dal modello da 209 milioni di parametri. Passa il puntatore sul grafico, oppure usa le frecce della tastiera, per leggere i valori in sterline.

Serie
Bande

Sposta il puntatore sul grafico o premi Tab e le frecce per leggere un giorno.

Tabella dei 28 giorni previsti

Quale modello? I risultati del backtest

Tutti e tre i modelli stanno sotto 1: battono, di poco (dall'8% al 12% circa), il metodo «stessa settimana scorsa». Le bande sono credibili: quella nominale dell'80% copre tra l'81% e l'87% dei giorni, quella del 90% tra il 91% e il 94%. Le differenze tra i modelli però sono più piccole della variabilità tra serie e finestre, e le barre di errore lo mostrano.

Evidenzia un modello

MASE medio con barra di errore pari a una deviazione standard, aggregato su serie e finestre. La linea a 1 è il metodo «stessa settimana scorsa»: più a sinistra è meglio.

La famiglia Timestral ha anche una taglia da 123 milioni di parametri, che in questo test non ho misurato.

Per paese, con il modello da 209M

Media delle finestre di backtest. Sotto 1 il modello batte il metodo semplice, sopra 1 no.

MASE del modello da 209M per paese.
Tabella dei valori

Come leggere le metriche

MASE
Errore diviso per quello del metodo «stessa settimana scorsa». Sotto 1 il modello è meglio, sopra 1 è peggio.
MAE
Errore medio assoluto in sterline al giorno.
RMSE
Come il MAE, ma pesa di più gli errori grandi.
WQL
Errore pesato sui quantili: giudica tutta la distribuzione prevista, non solo la mediana.
Copertura
Quante volte il valore vero cade dentro la banda. Una banda all'80% dovrebbe contenerlo l'80% delle volte.
sMAPE
Errore in percentuale. Con i giorni a zero vendite è inaffidabile, quindi non la uso.

Dove il modello sbaglia

0,94MASE sul Totale nell'ultima finestra, con il modello da 209M: meglio della settimana scorsa
1,06MASE sul Regno Unito, stessa finestra e stesso modello: leggermente peggio

Sopra 1 vuol dire peggio del metodo semplice. Sulla Germania lo stesso modello fa 1,14; con il 28M il Totale è 1,04 e il Regno Unito 1,14.

L'ultima finestra di backtest copre le quattro settimane fino al 9 dicembre 2011, il picco prima di Natale. Lì il vantaggio si riduce o sparisce su alcuni paesi: con il modello da 209M il Totale batte la stessa settimana scorsa, mentre Regno Unito e Germania sono leggermente peggio. È un limite vero, e lo scrivo.

Il motivo è che il modello guarda solo i numeri passati: non sa che a dicembre ci sono le feste, le chiusure e le promozioni. Per questo Delphi accetta anche eventi e calendario come covariate, per esempio promozioni e festività, con le opzioni --known-col e --future-csv della riga di comando. In questo esperimento non le ho usate: è il punto da migliorare.

C'è anche una lezione sui dati: un solo ordine annullato non tolto può far sembrare il modello molto peggio di com'è. Nei dati di questo esperimento bastavano due ordini poi annullati, il 9/12/2011 e il 18/1/2011, per far sembrare il modello molto peggio di com'è nell'ultima finestra.

  • Un solo dataset, di un solo negozio, con dati del 2009-2011: i tuoi numeri vanno misurati con lo stesso backtest prima di fidarsi.
  • L'unico confronto è con la stessa settimana scorsa. Non l'ho confrontato con altri modelli statistici.
  • Sulle serie piccole, con molti giorni a zero, la mediana resta vicino a zero e dice poco: conta la banda.
  • La sMAPE non è affidabile con i giorni senza vendite, e infatti non la riporto.
  • Le previsioni sono stime con un margine di errore, non promesse.

Quanto stock ordinare?

Scegli una serie e quanto vuoi essere al riparo da una domanda più alta del previsto. Il widget somma, giorno per giorno, il quantile corrispondente alle prossime settimane. È un esempio didattico, in sterline e sui dati pubblici.

Serie
Livello di servizio
Orizzonte

    Come leggerlo: sommare i quantili giorno per giorno dà una stima prudente, perché i giorni non vanno tutti al massimo insieme; non è il quantile esatto del totale. Il risultato è fatturato in sterline: per trasformarlo in pezzi da ordinare servono prezzi, margini e assortimento.

    Tabella: livelli e orizzonti per la serie scelta

    Come lo applico a un e-commerce cliente

    Non parto dal modello, parto dai tuoi dati e dalla decisione che vuoi prendere.

    Cosa mi serve

    • Lo storico degli ordini esportato in CSV: data e importo, e se li hai paese, categoria o prodotto.
    • Il calendario di promozioni e campagne, passate e già decise, da usare come covariate.

    Cosa ti consegno

    • La previsione con le bande, per le serie che ti servono.
    • Il backtest sui tuoi dati, con le stesse metriche di questa pagina, così vedi se il modello batte il tuo metodo attuale prima di usarlo.
    • La scelta della taglia del modello e delle covariate.

    Dove gira

    • Sul server, con i pesi in una cache locale: nessun dato esce.

    Fonti e crediti

    • Dataset: Chen, D., Online Retail II, UCI Machine Learning Repository, doi.org/10.24432/C5CG6D, licenza CC BY 4.0.
    • Modello: Timestral di Mistral AI, github.com/mistralai/timestral, taglie da 5, 28, 123 e 209 milioni di parametri.
    • MASE: Hyndman e Koehler, «Another look at measures of forecast accuracy», International Journal of Forecasting, 2006.
    • Foto di Delfi: Walkerssk, Pixabay, Licenza dei contenuti Pixabay.
    • I numeri dei grafici vengono da un solo esperimento, con orizzonte di 28 giorni, holdout di 28 giorni, tre finestre rolling-origin, stagionalità 7 e CPU di un Mac.

    Vuoi vedere cosa prevede Delphi sui tuoi ordini?

    Raccontami che cosa vendi e quali decisioni vuoi prendere: ti dico se i tuoi dati bastano e come lo misuriamo.

    Rocco Balzamà
    Parli direttamente con me

    Il prossimo passo?
    Parliamone.

    Raccontami cosa vuoi proteggere, costruire o far crescere. Ti aiuto a capire da dove partire.

    Di cosa mi occupo

    Da oltre trent'anni faccio tre cose. Cerco le falle della tua azienda prima che le trovi chi vuole entrare. Imposto il marketing perché i risultati si possano misurare. E aiuto persone e aziende a capire chi sono, prima ancora di decidere cosa vendere.

    Da remoto e in presenzaLavoro da remoto tramite call e videocall. Quando il progetto lo richiede, intervengo anche in presenza.
    Seguimi sui social
    Certified Ethical HackerSicurezza informatica dal 1993
    Gli strumenti con cui lavoro
    • Google Ads
    • Meta
    • WordPress
    • WooCommerce
    • Shopify
    • TikTok
    Strumenti gratuiti