01La domanda di ricerca
Un video ti arriva nel feed perché un sistema ha deciso che ti interesserà. Io ho voluto capire quanto di quella decisione si può ricostruire da fuori, con dati pubblici e un modello piccolo che gira su un portatile. Le domande sono tre.
- Quali segnali permettono di prevedere meglio ciò che un utente guarda fino in fondo?
- Perché valutare un sistema di raccomandazione è più difficile di quanto sembra?
- Quanto di una «bolla» di contenuti nasce dall'apprendimento del sistema e quanto dai gusti delle persone?
Il modello che ho costruito non è quello di TikTok, e i dati non sono di TikTok: sono di Kuaishou, un'altra grande app cinese di video brevi. Quello che segue dice che cosa succede a un sistema di questo tipo in laboratorio. Non dice come funziona il ranking reale di TikTok, che gira sui server dell'azienda e non si può osservare da fuori.
02Che cosa si sa in pubblico dell'impero
Prima dei miei numeri, i fatti che TikTok e ByteDance hanno scritto da soli. Li ho aperti uno per uno e li cito con la data.
- Come TikTok spiega il feed «Per te»
-
Nella newsroom del 18 giugno 2020 («How TikTok recommends videos #ForYou») l'azienda elenca tre famiglie di segnali: le interazioni dell'utente, come i video a cui metti «mi piace» o che condividi e gli account che segui; le informazioni sul video, come didascalie, suoni e hashtag; le impostazioni del dispositivo e dell'account, come lingua, paese e tipo di telefono. Questi ultimi pesano meno degli altri.
Ogni segnale ha un peso diverso: un indicatore forte, scrive TikTok, pesa più di uno debole, e porta come esempio il finire un video lungo dall'inizio alla fine. I nuovi utenti scelgono categorie di interesse oppure ricevono un feed generico di video popolari. L'azienda dichiara anche di inserire nel feed una varietà di video, per evitare un flusso troppo omogeneo. Leggi la pagina originale.
- L'infrastruttura, dal paper di ByteDance
-
«Monolith: Real Time Recommendation System With Collisionless Embedding Table», di Zhuoran Liu e altri dieci autori di ByteDance (arXiv, 16 settembre 2022; presentato a ORSUM@ACM RecSys 2022) descrive un sistema per addestrare i modelli di raccomandazione online, imparando dal comportamento degli utenti mentre arriva. Una tabella di embedding senza collisioni, con elementi che scadono, e un'architettura tollerante ai guasti. Il paper dichiara che Monolith è in uso nel prodotto BytePlus Recommend. Non dice che sia il sistema di TikTok, e io non lo affermo. Pagina su arXiv.
- Una cifra sulle dimensioni
-
Il 27 settembre 2021 TikTok ha scritto che più di un miliardo di persone al mese, nel mondo, passa dall'app per intrattenersi. È un conteggio mensile dichiarato dall'azienda. Comunicato di TikTok.
Non riporto cifre di ricavi o di tempo d'uso: quelle che circolano sono stime giornalistiche e non sono riuscito ad aprire le fonti originali, quindi le lascio fuori.
Dai meccanismi pubblici agli esperimenti
Ho collegato ciascun meccanismo dichiarato a una prova che potevo fare sul mio terreno. È un ragionamento per analogia, non una verifica di come lavora TikTok.
| Meccanismo pubblico | Che cosa ho misurato | Dove |
|---|---|---|
| Segnali di visione completa pesano più di quelli deboli | Compiti «completamento» (guardato per intero o più) e «forte interesse» (guardato almeno due volte la durata); poi il tempo di visione. | E1, E4 |
| Il feed si costruisce sui comportamenti, più che sull'elenco di chi segui | Un modello che usa solo attributi di utente e video e statistiche del train, senza alcuna rete di amicizie. Se bastasse, si vedrebbe già nella stima dei compiti. | E1 |
| Aggiornamento in tempo reale (Monolith) | Una simulazione a round in cui il sistema impara dal feedback del round precedente. | E3 |
| Varietà inserita di proposito nel feed | Una politica che esplora a caso nel 10% dei casi (ε-greedy) contro una che sfrutta sempre ciò che ha imparato (greedy). | E3 |
03I dati: KuaiRec
Uso KuaiRec 2.0, il dataset pubblicato da Chongming Gao e colleghi con le interazioni degli utenti di Kuaishou. Ha una caratteristica rara: accanto a un grande log ce n'è uno piccolo, quasi completo, in cui ogni utente ha visto ogni video. Sul log, il sistema decide chi vede che cosa. Sulla matrice completa nessuno ha scelto nulla.
| Righe di interazione | Utenti | Video | Natura | |
|---|---|---|---|---|
| big_matrix | 12.530.806 | 7.176 | 10.728 | log: l'esposizione l'ha decisa il sistema |
| small_matrix | 4.676.570 | 1.411 | 3.327 | quasi completa: 17.827 celle mancanti su 4.694.397 |
Citazione: Gao et al., «KuaiRec: A Fully-observed Dataset and Insights for Evaluating Recommender Systems», CIKM '22. Licenza CC BY-SA 4.0. Ho aperto la pagina del progetto e la scheda su arXiv, che riportano autori, titolo e sede.
La differenza tra le due matrici è la ragione dell'intero studio: sulla matrice completa posso confrontare i modelli senza che il vecchio sistema abbia già deciso quali risposte esistono. Il grafico in testata ne disegna un campione a partire dalle percentuali vere.
04Il metodo, passo per passo
- Compiti. Tre: completamento (watch_ratio almeno 1, cioè il video visto per intero), forte interesse (watch_ratio almeno 2) e tempo di visione, in scala logaritmica con un tetto a 47,4 secondi, il 99° percentile del train.
- Addestramento. Sul big_matrix, privato di un holdout di log del 10% estratto per coppia utente-video. Per i tempi del Mac uso un campione del 30%: 3.383.631 righe su 11.278.769. Due epoche.
- Test. Sulla small_matrix, 4.676.570 righe: 1.411 utenti per 3.327 video, quindi niente dipendenza da ciò che il vecchio sistema aveva scelto di mostrare.
- Modello. Un MMoE piccolo (multi-gate mixture of experts: quattro esperti che condividono le informazioni e una torre per ogni compito), senza embedding per singolo utente o video. La personalizzazione passa solo da attributi e statistiche calcolate sul train.
- Confronti. Lo stesso modello addestrato su un compito solo; la classifica per popolarità (media del watch_ratio nel train); un punteggio casuale.
- E1. AUC sul completamento e sul forte interesse; NDCG@10 per utente, con guadagno uguale al watch_ratio.
- E2. Gli stessi modelli sul holdout di log e sulla matrice completa, per vedere quanto cambia il giudizio.
- E3. Una simulazione: 20 round da 10 video per 1.411 utenti, 5 ripetizioni. Il sistema greedy impara solo da ciò che mostra; l'ε-greedy ne esplora il 10% a caso; il casuale non impara; l'oracolo conosce i gusti veri.
- E4. Descrittivo: completamento per durata del video e per anzianità.
Seed: 42 per lo split, 42, 43 e 44 per l'addestramento, da 100 a 104 per la simulazione. Mac M1 con 8 GB, accelerazione MPS.
Il primo AUC 0,5000 era finto
Il primo addestramento mi diede AUC 0,5000. Non era un risultato del modello: era un difetto mio. Le cause che ho trovato e corretto, con venti test automatici:
- L'etichetta «ctr» valeva «watch_ratio maggiore di 0», ed è vera nel 99,35% della matrice completa: in KuaiRec i video partono da soli e il clic non esiste. L'ho tolta.
- Il codice restituiva 0,5 in un blocco che intercettava l'errore «una sola classe». Ora restituisce NaN e scrive un avviso nel log.
- Il tempo di visione in secondi non aveva limite (fino a 7.988): ora è in logaritmo con tetto.
- La lettura riga per riga con pandas era troppo lenta: ora tabelle e tensori sono precalcolati.
- Per strada ne ho trovati altri tre: un peso dei compiti che moltiplicava per 10 invece di dividere, l'uso di
hash()di stringhe, non deterministico tra esecuzioni, e un errore nel caricamento della configurazione.
La lezione: un AUC di 0,5000 esatto è un sintomo, non un risultato, e va indagato prima di essere interpretato.
05I risultati
I numeri dei grafici arrivano tutti dal file studio-tiktok.json, incorporato in questa pagina. Sotto ogni grafico c'è la tabella con gli stessi dati.
E1. Chi stima meglio, chi ordina meglio
Confronto dei modelli sulla matrice completa
Dati: AUC sul completamento
| Modello | Valore | Dev. std |
|---|---|---|
| MMoE multi-obiettivo | 0,8322 | ±0,0002 |
| MMoE solo completamento | 0,8320 | ±0,0003 |
| Popolarità | 0,8040 | costante |
| Casuale | 0,5000 | costante |
Dati: AUC sul forte interesse
| Modello | Valore | Dev. std |
|---|---|---|
| MMoE multi-obiettivo | 0,8223 | ±0,0010 |
| MMoE solo forte interesse | 0,8141 | ±0,0011 |
| Popolarità | 0,7487 | costante |
| Casuale | 0,5000 | costante |
Dati: NDCG@10 sulla matrice completa
| Modello | Valore | Dev. std |
|---|---|---|
| Popolarità | 0,3162 | costante |
| MMoE solo forte interesse | 0,3161 | ±0,0003 |
| MMoE multi, ordino per forte interesse | 0,3157 | ±0,0008 |
| MMoE multi, ordino per completamento | 0,3139 | ±0,0011 |
| MMoE solo completamento | 0,3121 | ±0,0004 |
| MMoE multi, ordino per tempo previsto | 0,1086 | ±0,0119 |
| Casuale | 0,1079 | ±0,0006 |
| MMoE solo tempo di visione | 0,0834 | ±0,0079 |
LetturaIl modello stima meglio le probabilità: AUC 0,8322 sul completamento e 0,8223 sul forte interesse, contro 0,8040 e 0,7487 della popolarità. Addestrarlo su più compiti insieme non cambia il completamento (più 0,0002, dentro il rumore) e aiuta il compito raro, il forte interesse, di circa 0,008 di AUC su tutti e tre i seed. Ma nella classifica dei primi dieci video per utente nessun modello batte la popolarità: 0,3162 contro 0,3161 del migliore dei miei. Ordinare per tempo di visione previsto dà 0,0834, vicino al casuale (0,1079): il tempo premia i video lunghi, e non sono quelli che le persone finiscono.
E2. La trappola della valutazione
Gli stessi modelli, due modi di giudicarli
- Holdout di log
- Matrice completa
- Popolarità
Dati: NDCG@10
| Modello | Log | Posto sul log | Matrice completa | Posto sulla completa |
|---|---|---|---|---|
| MMoE multi, ordino per completamento | 0,5569 | 4ª su 8 | 0,3139 | 4ª su 8 |
| MMoE multi, ordino per forte interesse | 0,5616 | 1ª su 8 | 0,3157 | 3ª su 8 |
| MMoE solo completamento | 0,5575 | 3ª su 8 | 0,3121 | 5ª su 8 |
| MMoE solo forte interesse | 0,5615 | 2ª su 8 | 0,3161 | 2ª su 8 |
| MMoE multi, ordino per tempo previsto | 0,2757 | 7ª su 8 | 0,1086 | 6ª su 8 |
| MMoE solo tempo di visione | 0,2630 | 8ª su 8 | 0,0834 | 8ª su 8 |
| Popolarità | 0,5524 | 5ª su 8 | 0,3162 | 1ª su 8 |
| Casuale | 0,3028 | 6ª su 8 | 0,1079 | 7ª su 8 |
Dati: AUC sul completamento
| Modello | Log | Posto sul log | Matrice completa | Posto sulla completa |
|---|---|---|---|---|
| MMoE multi-obiettivo | 0,8244 | 2ª su 6 | 0,8322 | 1ª su 6 |
| MMoE solo completamento | 0,8250 | 1ª su 6 | 0,8320 | 4ª su 6 |
| Popolarità | 0,7641 | 5ª su 6 | 0,8040 | 5ª su 6 |
| Casuale | 0,5000 | 6ª su 6 | 0,5000 | 6ª su 6 |
LetturaSul log l'NDCG@10 sale da 0,31 a 0,56 e il casuale da 0,11 a 0,30: il log contiene soltanto video che il sistema aveva già scelto per quell'utente, e questo gonfia tutte le metriche. La graduatoria cambia: sul log la popolarità è quinta su otto, sulla matrice completa è prima. Un confronto fatto solo sul log avrebbe premiato i modelli personalizzati per una ragione che sulla matrice completa non c'è.
Quanto il log concentra le esposizioni
- Log: Gini 0,672
- Matrice completa: Gini 0,003
Nel log il primo 1% dei video raccoglie il 6,0% delle esposizioni e il primo 10% il 40,7%. Nella matrice completa le quote sono 1,0% e 10,0%: quasi l'uguaglianza. La curva unisce con segmenti i tre punti calcolati, non è la curva completa.
Dati: concentrazione delle esposizioni
| Insieme | Esposizioni | Video | Primo 1% dei video | Primo 10% dei video | Gini |
|---|---|---|---|---|---|
| Log (big_matrix) | 12.530.806 | 10.728 | 6,0% | 40,7% | 0,672 |
| Matrice completa (small_matrix) | 4.676.570 | 3.327 | 1,0% | 10,0% | 0,003 |
E3. La bolla
Quattro politiche, round dopo round
- Greedy
- ε-greedy (10%)
- Casuale
- Oracolo
Dati: totali dopo 20 round
| Politica | Watch_ratio medio | Completamento | Categorie viste | Quota categoria top | Gini esposizioni |
|---|---|---|---|---|---|
| Greedy | 1,457 | 0,673 | 12,9 | 0,346 | 0,879 |
| ε-greedy (10%) | 1,454 | 0,666 | 15,9 | 0,346 | 0,799 |
| Casuale | 0,907 | 0,324 | 22,6 | 0,180 | 0,060 |
| Oracolo (conosce i gusti veri) | 2,985 | 1,000 | 19,9 | 0,282 | 0,636 |
LetturaIl greedy impara solo da ciò che mostra: il watch_ratio medio sale a 1,457 contro 0,907 del caso (più 61%), ma le categorie viste a fine simulazione sono 12,9 contro 22,6 e l'esposizione si concentra (Gini 0,879 contro 0,060). L'oracolo, che conosce i gusti veri, ne vede 19,9: una parte della bolla nasce dall'apprendimento e non dalle preferenze delle persone. L'ε-greedy recupera tre categorie (15,9) con lo stesso interesse (1,454 contro 1,457, dentro la deviazione), ma non riduce la quota della categoria dominante: 0,346 in entrambi. Il watch_ratio del greedy sale da 0,90 al primo round a 1,92 al secondo e poi scende a 1,36: i video migliori si esauriscono, perché nella simulazione non si ripetono.
E4. Durata e freschezza
Completamento per durata del video
Quota di visioni completate sulla matrice completa. Le barre sono su scala fino al 75%.
Dati: completamento per durata
| Durata | Video | Completamento |
|---|---|---|
| Meno di 7 s | 602 | 70,5% |
| 7 a 10 s | 1.233 | 39,7% |
| 10 a 15 s | 997 | 15,9% |
| 15 a 30 s | 271 | 3,6% |
| 30 a 60 s | 161 | 0,8% |
| Oltre 60 s | 82 | 0,3% |
LetturaIl 70,5% dei video sotto i 7 secondi viene completato, lo 0,3% di quelli oltre i 60. In buona parte è meccanico: finire un video lungo è più difficile (correlazione di Spearman per video, −0,996). Per l'anzianità del video non vedo effetti chiari: Spearman −0,015, p 0,39. Sono correlazioni descrittive, non effetti causali.
06Che cosa dice dell'impero
Con le cautele della sezione successiva, i risultati dicono quattro cose che vanno nella stessa direzione delle dichiarazioni pubbliche. Nessuna è una prova di come lavora TikTok.
- Il comportamento di visione è molto informativo. Un modello senza rete di amicizie e senza identificativi per utente stima il completamento con AUC 0,83. È coerente con il peso che TikTok dichiara di dare al finire un video.
- Il segnale che scegli decide il feed. Ordinare per tempo di visione previsto dà una top-10 pari al caso, ordinare per completamento o per forte interesse no. Chi progetta il sistema sceglie che cosa premiare, e la scelta si vede subito nel risultato.
- Imparare in fretta paga. Nella simulazione, un solo round di feedback porta il greedy da 0,90 a 1,92 di watch_ratio. È il tipo di vantaggio che un sistema aggiornato di continuo, come quello descritto da Monolith, può cercare di cogliere.
- La varietà costa poco ma non risolve tutto. Esplorare nel 10% dei casi restituisce tre categorie senza perdere interesse, ma la categoria dominante resta dov'era. Dichiarare varietà nel feed e ottenerla sono due cose diverse, e qui si misura la differenza.
C'è poi la lezione di metodo, forse la più utile a chi lavora con questi sistemi: valutare un modello sul log che il sistema stesso ha prodotto dà risposte più ottimistiche e può ribaltare la graduatoria. Per un sistema che impara dal log delle proprie scelte, il rischio di giudicarsi con il proprio metro è concreto.
07Limiti
- Non è TikTok: i dati sono di Kuaishou e il ranking reale non è osservabile.
- Il modello è di laboratorio: campione del 30%, due epoche, nessun embedding per utente o video. Questo spiega in parte il pareggio con la popolarità nella top-10.
- L'holdout di log è casuale per coppia, non temporale.
- L'NDCG con guadagno lineare è dominato dai valori estremi del watch_ratio (fino a 571): ne riporto anche una versione con tetto 5 nel file dei dati.
- L'utente simulato di E3 è semplificato: niente stanchezza né ritorni, categoria uguale alla prima della lista, feedback del modello con tetto 5. La copertura del catalogo arriva a circa il 100% per tutti, quindi a questa scala dice poco.
- E4 mostra correlazioni: durata e categoria sono intrecciate.
- Non è un lavoro sottoposto a revisione paritaria.
08Riproducibilità
Questi sono i comandi che ho lanciato, nell'ordine, con i tempi registrati nel file dei risultati. Il primo caricamento dei file CSV crea una cache e richiede circa venti secondi.
| Passo | Comando (da code/, dopo source ../env.sh) | Tempo registrato |
|---|---|---|
| Test | python -m pytest -v tests | circa 7 secondi |
| E1 e E2 | python -u -m experiments.e1_e2_modelli --frac 0.3 --epochs 2 --seeds 42 43 44 | 1351 secondi (22,5 minuti), MPS |
| E3 | python -u -m experiments.e3_bolla --rounds 20 --k 10 --eps 0.1 --reps 5 | 99 secondi, CPU |
| E4 | python -u -m experiments.e4_durata_freschezza | 25 secondi |
| File dei risultati | python -m experiments.studio_json | pochi secondi |
Configurazione: split con seed 42; addestramento con seed 42, 43 e 44; simulazione con seed da 100 a 104. MMoE con due torri da 128 e 64 unità, embedding da 64, quattro esperti, torri da 32, AdamW con velocità di apprendimento 0,002 e schedulazione OneCycle, batch da 4.096, pesi dei compiti uguali. Macchina: Apple M1 con 8 GB, accelerazione MPS.
| Pacchetto | Versione |
|---|---|
| Python | 3.10.3 |
| torch | 2.14.1 |
| numpy | 2.2.6 |
| pandas | 2.3.3 |
| scikit-learn | 1.7.2 |
| scipy | 1.15.3 |
| pytorch-lightning | 2.6.6 |
| pytest | 9.2.0 |
09Fonti
- Gao, C., Li, S., Lei, W., Chen, J., Li, B., Jiang, P., He, X., Mao, J., Chua, T.-S. «KuaiRec: A Fully-observed Dataset and Insights for Evaluating Recommender Systems». CIKM '22. kuairec.com · arxiv.org/abs/2202.10842. Dati con licenza CC BY-SA 4.0.
- Liu, Z. e altri. «Monolith: Real Time Recommendation System With Collisionless Embedding Table». arXiv:2209.07663, 16 settembre 2022, ORSUM@ACM RecSys 2022. arxiv.org/abs/2209.07663
- TikTok Newsroom. «How TikTok recommends videos #ForYou», 18 giugno 2020. newsroom.tiktok.com
- TikTok Newsroom, 27 settembre 2021, più di un miliardo di persone al mese. newsroom.tiktok.com/en-us/thanks-a-billion
TikTok è un marchio registrato di ByteDance Ltd. Questo studio è indipendente: non è affiliato, sponsorizzato né approvato da TikTok o ByteDance.
10Come citare questo studio
Balzamà, R. (2026). «Come TikTok ha costruito un impero: esperimenti su KuaiRec». roccobalzama.it, 15 novembre 2026. https://www.roccobalzama.it/studi-pubblicazioni/tiktok-algoritmo-raccomandazione.html
Tutti gli studi e le pubblicazioni · Leggi il racconto sul blog






