1. Home
  2. Chi sono
  3. Studi e pubblicazioni
  4. TikTok

Studio 03 · Sistemi di raccomandazione · 15 novembre 2026

Come TikTok ha costruito un impero

Che cosa decide i video che ti arrivano nel feed, provato con esperimenti su dati pubblici.

Matrice utenti per video, a confronto: il log e la matrice completaUna griglia di celle: ogni riga è un utente, ogni colonna un video. Nel log solo il 16,3% delle celle è osservato e poche colonne ne concentrano la maggior parte; nella matrice completa quasi tutte lo sono. La griglia è un campione disegnato dalle percentuali reali dello studio.
Il log di Kuaishou: ogni cella chiara è una coppia utente-video che il sistema ha scelto di mostrare. Solo il 16,3% delle celle, e poche colonne ne raccolgono la maggior parte.
  • 0,56 → 0,31NDCG@10 dello stesso modello sul log e sulla matrice completa: il log gonfia il punteggio.
  • 0,3162NDCG@10 della classifica per popolarità: nella top-10 nessun modello la batte.
  • 12,9 su 22,6categorie viste dopo 20 round con il greedy, contro il caso. L'oracolo ne vede 19,9.
  • 70,5%completamento dei video sotto i 7 secondi, contro lo 0,3% di quelli oltre i 60.

01La domanda di ricerca

Un video ti arriva nel feed perché un sistema ha deciso che ti interesserà. Io ho voluto capire quanto di quella decisione si può ricostruire da fuori, con dati pubblici e un modello piccolo che gira su un portatile. Le domande sono tre.

  1. Quali segnali permettono di prevedere meglio ciò che un utente guarda fino in fondo?
  2. Perché valutare un sistema di raccomandazione è più difficile di quanto sembra?
  3. Quanto di una «bolla» di contenuti nasce dall'apprendimento del sistema e quanto dai gusti delle persone?

Il modello che ho costruito non è quello di TikTok, e i dati non sono di TikTok: sono di Kuaishou, un'altra grande app cinese di video brevi. Quello che segue dice che cosa succede a un sistema di questo tipo in laboratorio. Non dice come funziona il ranking reale di TikTok, che gira sui server dell'azienda e non si può osservare da fuori.

02Che cosa si sa in pubblico dell'impero

Prima dei miei numeri, i fatti che TikTok e ByteDance hanno scritto da soli. Li ho aperti uno per uno e li cito con la data.

Come TikTok spiega il feed «Per te»

Nella newsroom del 18 giugno 2020 («How TikTok recommends videos #ForYou») l'azienda elenca tre famiglie di segnali: le interazioni dell'utente, come i video a cui metti «mi piace» o che condividi e gli account che segui; le informazioni sul video, come didascalie, suoni e hashtag; le impostazioni del dispositivo e dell'account, come lingua, paese e tipo di telefono. Questi ultimi pesano meno degli altri.

Ogni segnale ha un peso diverso: un indicatore forte, scrive TikTok, pesa più di uno debole, e porta come esempio il finire un video lungo dall'inizio alla fine. I nuovi utenti scelgono categorie di interesse oppure ricevono un feed generico di video popolari. L'azienda dichiara anche di inserire nel feed una varietà di video, per evitare un flusso troppo omogeneo. Leggi la pagina originale.

L'infrastruttura, dal paper di ByteDance

«Monolith: Real Time Recommendation System With Collisionless Embedding Table», di Zhuoran Liu e altri dieci autori di ByteDance (arXiv, 16 settembre 2022; presentato a ORSUM@ACM RecSys 2022) descrive un sistema per addestrare i modelli di raccomandazione online, imparando dal comportamento degli utenti mentre arriva. Una tabella di embedding senza collisioni, con elementi che scadono, e un'architettura tollerante ai guasti. Il paper dichiara che Monolith è in uso nel prodotto BytePlus Recommend. Non dice che sia il sistema di TikTok, e io non lo affermo. Pagina su arXiv.

Una cifra sulle dimensioni

Il 27 settembre 2021 TikTok ha scritto che più di un miliardo di persone al mese, nel mondo, passa dall'app per intrattenersi. È un conteggio mensile dichiarato dall'azienda. Comunicato di TikTok.

Non riporto cifre di ricavi o di tempo d'uso: quelle che circolano sono stime giornalistiche e non sono riuscito ad aprire le fonti originali, quindi le lascio fuori.

Una coppia guarda un video sullo schermo di uno smartphone in un parco
Un video guardato fino in fondo è il segnale che TikTok porta come esempio di interesse forte. Foto: claudid, Pixabay, Licenza dei contenuti Pixabay.

Dai meccanismi pubblici agli esperimenti

Ho collegato ciascun meccanismo dichiarato a una prova che potevo fare sul mio terreno. È un ragionamento per analogia, non una verifica di come lavora TikTok.

Che cosa dichiarano le fonti pubbliche e quale esperimento lo mette alla prova
Meccanismo pubblicoChe cosa ho misuratoDove
Segnali di visione completa pesano più di quelli deboliCompiti «completamento» (guardato per intero o più) e «forte interesse» (guardato almeno due volte la durata); poi il tempo di visione.E1, E4
Il feed si costruisce sui comportamenti, più che sull'elenco di chi seguiUn modello che usa solo attributi di utente e video e statistiche del train, senza alcuna rete di amicizie. Se bastasse, si vedrebbe già nella stima dei compiti.E1
Aggiornamento in tempo reale (Monolith)Una simulazione a round in cui il sistema impara dal feedback del round precedente.E3
Varietà inserita di proposito nel feedUna politica che esplora a caso nel 10% dei casi (ε-greedy) contro una che sfrutta sempre ciò che ha imparato (greedy).E3

03I dati: KuaiRec

Uso KuaiRec 2.0, il dataset pubblicato da Chongming Gao e colleghi con le interazioni degli utenti di Kuaishou. Ha una caratteristica rara: accanto a un grande log ce n'è uno piccolo, quasi completo, in cui ogni utente ha visto ogni video. Sul log, il sistema decide chi vede che cosa. Sulla matrice completa nessuno ha scelto nulla.

Le due matrici di KuaiRec 2.0
Righe di interazioneUtentiVideoNatura
big_matrix12.530.8067.17610.728log: l'esposizione l'ha decisa il sistema
small_matrix4.676.5701.4113.327quasi completa: 17.827 celle mancanti su 4.694.397

Citazione: Gao et al., «KuaiRec: A Fully-observed Dataset and Insights for Evaluating Recommender Systems», CIKM '22. Licenza CC BY-SA 4.0. Ho aperto la pagina del progetto e la scheda su arXiv, che riportano autori, titolo e sede.

La differenza tra le due matrici è la ragione dell'intero studio: sulla matrice completa posso confrontare i modelli senza che il vecchio sistema abbia già deciso quali risposte esistono. Il grafico in testata ne disegna un campione a partire dalle percentuali vere.

04Il metodo, passo per passo

  1. Compiti. Tre: completamento (watch_ratio almeno 1, cioè il video visto per intero), forte interesse (watch_ratio almeno 2) e tempo di visione, in scala logaritmica con un tetto a 47,4 secondi, il 99° percentile del train.
  2. Addestramento. Sul big_matrix, privato di un holdout di log del 10% estratto per coppia utente-video. Per i tempi del Mac uso un campione del 30%: 3.383.631 righe su 11.278.769. Due epoche.
  3. Test. Sulla small_matrix, 4.676.570 righe: 1.411 utenti per 3.327 video, quindi niente dipendenza da ciò che il vecchio sistema aveva scelto di mostrare.
  4. Modello. Un MMoE piccolo (multi-gate mixture of experts: quattro esperti che condividono le informazioni e una torre per ogni compito), senza embedding per singolo utente o video. La personalizzazione passa solo da attributi e statistiche calcolate sul train.
  5. Confronti. Lo stesso modello addestrato su un compito solo; la classifica per popolarità (media del watch_ratio nel train); un punteggio casuale.
  6. E1. AUC sul completamento e sul forte interesse; NDCG@10 per utente, con guadagno uguale al watch_ratio.
  7. E2. Gli stessi modelli sul holdout di log e sulla matrice completa, per vedere quanto cambia il giudizio.
  8. E3. Una simulazione: 20 round da 10 video per 1.411 utenti, 5 ripetizioni. Il sistema greedy impara solo da ciò che mostra; l'ε-greedy ne esplora il 10% a caso; il casuale non impara; l'oracolo conosce i gusti veri.
  9. E4. Descrittivo: completamento per durata del video e per anzianità.

Seed: 42 per lo split, 42, 43 e 44 per l'addestramento, da 100 a 104 per la simulazione. Mac M1 con 8 GB, accelerazione MPS.

Il primo AUC 0,5000 era finto

Il primo addestramento mi diede AUC 0,5000. Non era un risultato del modello: era un difetto mio. Le cause che ho trovato e corretto, con venti test automatici:

  1. L'etichetta «ctr» valeva «watch_ratio maggiore di 0», ed è vera nel 99,35% della matrice completa: in KuaiRec i video partono da soli e il clic non esiste. L'ho tolta.
  2. Il codice restituiva 0,5 in un blocco che intercettava l'errore «una sola classe». Ora restituisce NaN e scrive un avviso nel log.
  3. Il tempo di visione in secondi non aveva limite (fino a 7.988): ora è in logaritmo con tetto.
  4. La lettura riga per riga con pandas era troppo lenta: ora tabelle e tensori sono precalcolati.
  5. Per strada ne ho trovati altri tre: un peso dei compiti che moltiplicava per 10 invece di dividere, l'uso di hash() di stringhe, non deterministico tra esecuzioni, e un errore nel caricamento della configurazione.

La lezione: un AUC di 0,5000 esatto è un sintomo, non un risultato, e va indagato prima di essere interpretato.

05I risultati

I numeri dei grafici arrivano tutti dal file studio-tiktok.json, incorporato in questa pagina. Sotto ogni grafico c'è la tabella con gli stessi dati.

E1. Chi stima meglio, chi ordina meglio

Confronto dei modelli sulla matrice completa

    Dati: AUC sul completamento
    AUC sul completamento, media su 3 seed
    ModelloValoreDev. std
    MMoE multi-obiettivo0,8322±0,0002
    MMoE solo completamento0,8320±0,0003
    Popolarità0,8040costante
    Casuale0,5000costante
    Dati: AUC sul forte interesse
    AUC sul forte interesse, media su 3 seed
    ModelloValoreDev. std
    MMoE multi-obiettivo0,8223±0,0010
    MMoE solo forte interesse0,8141±0,0011
    Popolarità0,7487costante
    Casuale0,5000costante
    Dati: NDCG@10 sulla matrice completa
    NDCG@10 sulla matrice completa, media su 3 seed
    ModelloValoreDev. std
    Popolarità0,3162costante
    MMoE solo forte interesse0,3161±0,0003
    MMoE multi, ordino per forte interesse0,3157±0,0008
    MMoE multi, ordino per completamento0,3139±0,0011
    MMoE solo completamento0,3121±0,0004
    MMoE multi, ordino per tempo previsto0,1086±0,0119
    Casuale0,1079±0,0006
    MMoE solo tempo di visione0,0834±0,0079

    LetturaIl modello stima meglio le probabilità: AUC 0,8322 sul completamento e 0,8223 sul forte interesse, contro 0,8040 e 0,7487 della popolarità. Addestrarlo su più compiti insieme non cambia il completamento (più 0,0002, dentro il rumore) e aiuta il compito raro, il forte interesse, di circa 0,008 di AUC su tutti e tre i seed. Ma nella classifica dei primi dieci video per utente nessun modello batte la popolarità: 0,3162 contro 0,3161 del migliore dei miei. Ordinare per tempo di visione previsto dà 0,0834, vicino al casuale (0,1079): il tempo premia i video lunghi, e non sono quelli che le persone finiscono.

    E2. La trappola della valutazione

    Gli stessi modelli, due modi di giudicarli

    • Holdout di log
    • Matrice completa
    • Popolarità
      Dati: NDCG@10
      NDCG@10: log di holdout contro matrice completa
      ModelloLogPosto sul logMatrice completaPosto sulla completa
      MMoE multi, ordino per completamento0,55694ª su 80,31394ª su 8
      MMoE multi, ordino per forte interesse0,56161ª su 80,31573ª su 8
      MMoE solo completamento0,55753ª su 80,31215ª su 8
      MMoE solo forte interesse0,56152ª su 80,31612ª su 8
      MMoE multi, ordino per tempo previsto0,27577ª su 80,10866ª su 8
      MMoE solo tempo di visione0,26308ª su 80,08348ª su 8
      Popolarità0,55245ª su 80,31621ª su 8
      Casuale0,30286ª su 80,10797ª su 8
      Dati: AUC sul completamento
      AUC sul completamento: log di holdout contro matrice completa
      ModelloLogPosto sul logMatrice completaPosto sulla completa
      MMoE multi-obiettivo0,82442ª su 60,83221ª su 6
      MMoE solo completamento0,82501ª su 60,83204ª su 6
      Popolarità0,76415ª su 60,80405ª su 6
      Casuale0,50006ª su 60,50006ª su 6

      LetturaSul log l'NDCG@10 sale da 0,31 a 0,56 e il casuale da 0,11 a 0,30: il log contiene soltanto video che il sistema aveva già scelto per quell'utente, e questo gonfia tutte le metriche. La graduatoria cambia: sul log la popolarità è quinta su otto, sulla matrice completa è prima. Un confronto fatto solo sul log avrebbe premiato i modelli personalizzati per una ragione che sulla matrice completa non c'è.

      Quanto il log concentra le esposizioni

      • Log: Gini 0,672
      • Matrice completa: Gini 0,003

      Nel log il primo 1% dei video raccoglie il 6,0% delle esposizioni e il primo 10% il 40,7%. Nella matrice completa le quote sono 1,0% e 10,0%: quasi l'uguaglianza. La curva unisce con segmenti i tre punti calcolati, non è la curva completa.

      Dati: concentrazione delle esposizioni
      Concentrazione delle esposizioni
      InsiemeEsposizioniVideoPrimo 1% dei videoPrimo 10% dei videoGini
      Log (big_matrix)12.530.80610.7286,0%40,7%0,672
      Matrice completa (small_matrix)4.676.5703.3271,0%10,0%0,003

      E3. La bolla

      Quattro politiche, round dopo round

      • Greedy
      • ε-greedy (10%)
      • Casuale
      • Oracolo
      20 / 20
      Dati: totali dopo 20 round
      Totali dopo 20 round, media su 5 ripetizioni (1.411 utenti, 10 video per round)
      PoliticaWatch_ratio medioCompletamentoCategorie visteQuota categoria topGini esposizioni
      Greedy1,4570,67312,90,3460,879
      ε-greedy (10%)1,4540,66615,90,3460,799
      Casuale0,9070,32422,60,1800,060
      Oracolo (conosce i gusti veri)2,9851,00019,90,2820,636

      LetturaIl greedy impara solo da ciò che mostra: il watch_ratio medio sale a 1,457 contro 0,907 del caso (più 61%), ma le categorie viste a fine simulazione sono 12,9 contro 22,6 e l'esposizione si concentra (Gini 0,879 contro 0,060). L'oracolo, che conosce i gusti veri, ne vede 19,9: una parte della bolla nasce dall'apprendimento e non dalle preferenze delle persone. L'ε-greedy recupera tre categorie (15,9) con lo stesso interesse (1,454 contro 1,457, dentro la deviazione), ma non riduce la quota della categoria dominante: 0,346 in entrambi. Il watch_ratio del greedy sale da 0,90 al primo round a 1,92 al secondo e poi scende a 1,36: i video migliori si esauriscono, perché nella simulazione non si ripetono.

      E4. Durata e freschezza

      Completamento per durata del video

      • Meno di 7 s70,5%
      • 7 a 10 s39,7%
      • 10 a 15 s15,9%
      • 15 a 30 s3,6%
      • 30 a 60 s0,8%
      • Oltre 60 s0,3%

      Quota di visioni completate sulla matrice completa. Le barre sono su scala fino al 75%.

      Dati: completamento per durata
      Completamento per durata del video (matrice completa)
      DurataVideoCompletamento
      Meno di 7 s60270,5%
      7 a 10 s1.23339,7%
      10 a 15 s99715,9%
      15 a 30 s2713,6%
      30 a 60 s1610,8%
      Oltre 60 s820,3%

      LetturaIl 70,5% dei video sotto i 7 secondi viene completato, lo 0,3% di quelli oltre i 60. In buona parte è meccanico: finire un video lungo è più difficile (correlazione di Spearman per video, −0,996). Per l'anzianità del video non vedo effetti chiari: Spearman −0,015, p 0,39. Sono correlazioni descrittive, non effetti causali.

      06Che cosa dice dell'impero

      Con le cautele della sezione successiva, i risultati dicono quattro cose che vanno nella stessa direzione delle dichiarazioni pubbliche. Nessuna è una prova di come lavora TikTok.

      • Il comportamento di visione è molto informativo. Un modello senza rete di amicizie e senza identificativi per utente stima il completamento con AUC 0,83. È coerente con il peso che TikTok dichiara di dare al finire un video.
      • Il segnale che scegli decide il feed. Ordinare per tempo di visione previsto dà una top-10 pari al caso, ordinare per completamento o per forte interesse no. Chi progetta il sistema sceglie che cosa premiare, e la scelta si vede subito nel risultato.
      • Imparare in fretta paga. Nella simulazione, un solo round di feedback porta il greedy da 0,90 a 1,92 di watch_ratio. È il tipo di vantaggio che un sistema aggiornato di continuo, come quello descritto da Monolith, può cercare di cogliere.
      • La varietà costa poco ma non risolve tutto. Esplorare nel 10% dei casi restituisce tre categorie senza perdere interesse, ma la categoria dominante resta dov'era. Dichiarare varietà nel feed e ottenerla sono due cose diverse, e qui si misura la differenza.

      C'è poi la lezione di metodo, forse la più utile a chi lavora con questi sistemi: valutare un modello sul log che il sistema stesso ha prodotto dà risposte più ottimistiche e può ribaltare la graduatoria. Per un sistema che impara dal log delle proprie scelte, il rischio di giudicarsi con il proprio metro è concreto.

      07Limiti

      • Non è TikTok: i dati sono di Kuaishou e il ranking reale non è osservabile.
      • Il modello è di laboratorio: campione del 30%, due epoche, nessun embedding per utente o video. Questo spiega in parte il pareggio con la popolarità nella top-10.
      • L'holdout di log è casuale per coppia, non temporale.
      • L'NDCG con guadagno lineare è dominato dai valori estremi del watch_ratio (fino a 571): ne riporto anche una versione con tetto 5 nel file dei dati.
      • L'utente simulato di E3 è semplificato: niente stanchezza né ritorni, categoria uguale alla prima della lista, feedback del modello con tetto 5. La copertura del catalogo arriva a circa il 100% per tutti, quindi a questa scala dice poco.
      • E4 mostra correlazioni: durata e categoria sono intrecciate.
      • Non è un lavoro sottoposto a revisione paritaria.

      08Riproducibilità

      Questi sono i comandi che ho lanciato, nell'ordine, con i tempi registrati nel file dei risultati. Il primo caricamento dei file CSV crea una cache e richiede circa venti secondi.

      Passi, comandi e tempi
      PassoComando (da code/, dopo source ../env.sh)Tempo registrato
      Testpython -m pytest -v testscirca 7 secondi
      E1 e E2python -u -m experiments.e1_e2_modelli --frac 0.3 --epochs 2 --seeds 42 43 441351 secondi (22,5 minuti), MPS
      E3python -u -m experiments.e3_bolla --rounds 20 --k 10 --eps 0.1 --reps 599 secondi, CPU
      E4python -u -m experiments.e4_durata_freschezza25 secondi
      File dei risultatipython -m experiments.studio_jsonpochi secondi

      Configurazione: split con seed 42; addestramento con seed 42, 43 e 44; simulazione con seed da 100 a 104. MMoE con due torri da 128 e 64 unità, embedding da 64, quattro esperti, torri da 32, AdamW con velocità di apprendimento 0,002 e schedulazione OneCycle, batch da 4.096, pesi dei compiti uguali. Macchina: Apple M1 con 8 GB, accelerazione MPS.

      Versioni
      PacchettoVersione
      Python3.10.3
      torch2.14.1
      numpy2.2.6
      pandas2.3.3
      scikit-learn1.7.2
      scipy1.15.3
      pytorch-lightning2.6.6
      pytest9.2.0

      09Fonti

      1. Gao, C., Li, S., Lei, W., Chen, J., Li, B., Jiang, P., He, X., Mao, J., Chua, T.-S. «KuaiRec: A Fully-observed Dataset and Insights for Evaluating Recommender Systems». CIKM '22. kuairec.com · arxiv.org/abs/2202.10842. Dati con licenza CC BY-SA 4.0.
      2. Liu, Z. e altri. «Monolith: Real Time Recommendation System With Collisionless Embedding Table». arXiv:2209.07663, 16 settembre 2022, ORSUM@ACM RecSys 2022. arxiv.org/abs/2209.07663
      3. TikTok Newsroom. «How TikTok recommends videos #ForYou», 18 giugno 2020. newsroom.tiktok.com
      4. TikTok Newsroom, 27 settembre 2021, più di un miliardo di persone al mese. newsroom.tiktok.com/en-us/thanks-a-billion

      TikTok è un marchio registrato di ByteDance Ltd. Questo studio è indipendente: non è affiliato, sponsorizzato né approvato da TikTok o ByteDance.

      10Come citare questo studio

      Balzamà, R. (2026). «Come TikTok ha costruito un impero: esperimenti su KuaiRec». roccobalzama.it, 15 novembre 2026. https://www.roccobalzama.it/studi-pubblicazioni/tiktok-algoritmo-raccomandazione.html

      Tutti gli studi e le pubblicazioni · Leggi il racconto sul blog

      Rocco Balzamà
      Parli direttamente con me

      Il prossimo passo?
      Parliamone.

      Raccontami cosa vuoi proteggere, costruire o far crescere. Ti aiuto a capire da dove partire.

      Di cosa mi occupo

      Da oltre trent'anni faccio tre cose. Cerco le falle della tua azienda prima che le trovi chi vuole entrare. Imposto il marketing perché i risultati si possano misurare. E aiuto persone e aziende a capire chi sono, prima ancora di decidere cosa vendere.

      Da remoto e in presenzaLavoro da remoto tramite call e videocall. Quando il progetto lo richiede, intervengo anche in presenza.
      Seguimi sui social
      Certified Ethical HackerSicurezza informatica dal 1993
      Gli strumenti con cui lavoro
      • Google Ads
      • Meta
      • WordPress
      • WooCommerce
      • Shopify
      • TikTok
      Strumenti gratuiti