Il metodo
Lasciate che inizi con una confessione. All'inizio del nostro lavoro, uno dei nostri backtest mostrava un rendimento di oltre diecimila per cento all'anno. Diecimila. Sulla carta, avevamo trovato la macchina che stampa denaro. Non abbiamo festeggiato a lungo. Quando abbiamo rieseguito la stessa idea su prezzi puliti e realmente negoziabili, il suo indice di Sharpe — cioè il rendimento una volta corretto per il rischio che ci si è assunti per ottenerlo — è risultato pari a zero. Non piccolo. Zero. Era tutto un artefatto: un fantasma prodotto dai dati, non da un vero vantaggio sul mercato.
Fermatevi un istante su questo. Un numero bello come diecimila per cento non valeva assolutamente nulla. Ed ecco la parte scomoda: mentre lo guardavamo, sembrava del tutto reale. Il grafico saliva verso l'alto e verso destra. Il codice girava senza errori. Nulla gridava "falso".
Ecco quindi la domanda che guida tutto l'episodio: se un risultato così splendido può non valere nulla, come possiamo mai fidarci di un numero che produciamo? Come distinguiamo un vero vantaggio da un'illusione costosa?
La nostra risposta non è un modello più intelligente. È un esame più duro. Abbiamo costruito un cancello — un insieme fisso di test che ogni strategia deve superare prima che noi ci crediamo, prima che gestisca un solo euro. Lo stesso esame per i nostri modelli di deep learning, per le nostre regole meccaniche più semplici, per tutto. Nessuna eccezione, nessun favoritismo.
Nella prossima mezz'ora attraverseremo questo cancello, pezzo per pezzo: come misuriamo l'abilità, dove tracciamo la linea tra promosso e bocciato, e le trappole che ci hanno ingannato lungo il cammino. Perché in questo campo, la disciplina è il vantaggio. Cominciamo.
I motori in un colpo d'occhio
Prima di aprire l'esame, mettiamo in fila i concorrenti, perché il senso di questo episodio è proprio che affrontano tutti la stessa prova. Lavoriamo con tre famiglie di strategie. Le prime sono i nostri modelli di produzione: reti LSTM con attenzione che allocano tra ETF — sistemi di deep learning che imparano schemi su molti asset contemporaneamente. Le seconde sono le candidate: modelli piu recenti, o varianti di quelli di produzione, che stiamo ancora valutando e non abbiamo promosso. Le terze sono le strategie meccaniche: regole semplici e trasparenti, a volte solo cinque righe di codice — una regola di momentum, un filtro di regime — che chiunque potrebbe scrivere e verificare a mano. Animali molto diversi. I modelli di deep learning sono opachi e costosi da addestrare; le regole meccaniche sono economiche e facili da leggere. L'istinto, nostro e probabilmente anche vostro, e aspettarsi che vinca la cosa complessa. Tenete a mente questo pensiero: lo verificheremo direttamente piu avanti, e la risposta non e quella che sperereste. Ecco la disciplina che attraversa tutto cio che segue: non valutiamo queste tre famiglie con metri diversi. Non concediamo alla rete neurale il beneficio del dubbio solo perche e stata difficile da costruire, e non perdoniamo la regola semplice solo perche e elegante. Da qui in poi, ogni motore — il modello profondo, la candidata, la regola da cinque righe — affronta esattamente lo stesso vaglio, lo stesso esame, giudicato sugli stessi dati tenuti da parte e con la stessa soglia di superamento. Nessun favorito. Nessun vantaggio in casa per la complessita. E questa simmetria che rende i confronti onesti, ed e cio che ci permette di dire, con chiarezza, quando la cosa costosa semplicemente non vale.
Perche' un singolo numero mente
Partiamo allora dal numero che tutti citano. Ha un nome: il CAGR, cioè il tasso di crescita annuo composto. Risponde a una sola domanda: sull'intero periodo, quanto è cresciuto il capitale, in media, ogni anno? Sembra un dato definitivo. E nasconde due problemi che dovrebbero preoccuparci.
Il primo problema è che il CAGR dipende da due soli punti: dove inizi e dove finisci. Tutto ciò che sta in mezzo viene schiacciato in una singola linea, tracciata dal primo giorno all'ultimo. Sposta la data d'inizio di qualche mese — parti appena prima di un crollo invece che appena dopo — e la stessa strategia può passare da impressionante a mediocre, o viceversa. Il verdetto si ribalta, e nella strategia non è cambiato nulla. Questo dovrebbe già metterci a disagio. Una misura di abilità non può oscillare a seconda di dove abbiamo piantato la bandierina.
Il secondo problema è più profondo. Il CAGR non sa distinguere l'abilità costante dalla fortuna. Immagina una strategia che per otto anni non ha fatto quasi niente, e poi ha agganciato in coda due anni straordinari. E immagina un'altra che ogni singolo anno ha aggiunto poco, in silenzio. Possono riportare lo stesso CAGR. Lo stesso numero da titolo. Ma non sono affatto la stessa cosa: una è un processo ripetibile, l'altra è un biglietto della lotteria che ha già pagato. Il CAGR risponde a "quanto", non risponde mai a "quanto è affidabile".
E "quanto è affidabile" è l'unica domanda che conta quando decidi se affidare a una regola il tuo denaro. Ci serve quindi una misura che non poggi su due estremi. Ci serve qualcosa che guardi l'intera esperienza — ogni tratto della storia, non solo il primo giorno e l'ultimo. È ciò per cui il gate è costruito, ed è dove andiamo ora.
Lo stesso track record, dodici CAGR
Abbiamo appena sostenuto che un numero solo può mentire: sposta la data di inizio e il CAGR ribalta il suo verdetto. Ora dimostriamolo. Quello che vedete è un grafico a linee, e usa un solo track record: il nostro motore Global aggressivo, al netto delle tasse, calcolato fino a oggi. Nulla della strategia cambia in questa immagine. L'unica cosa che si muove è l'asse orizzontale: la data di inizio del backtest. L'asse verticale è il CAGR sull'intero campione — il tasso di crescita annuo composto che citereste se aveste iniziato in quella data. Seguite la linea con me. Partite vicino al duemilasette o duemilaotto, attraverso la crisi finanziaria, e la linea si colloca intorno al ventuno per cento. Spostate l'inizio verso destra, negli anni recenti, e sale a circa quarantaquattro per cento — più del doppio. La media su ogni possibile inizio è vicina al ventisei per cento. Stesse operazioni, stesse uscite, tutto uguale — eppure una dozzina di CAGR onesti, dal ventuno al quarantaquattro. Le finestre brevi e recenti gonfiano di più il numero, perché saltano i cali. Quindi, quando qualcuno vi cita un solo CAGR, ricordate: state sentendo soprattutto dove ha scelto di iniziare. Per questo, nella prossima slide, smettiamo di fidarci di un punto e guardiamo l'intera distribuzione dell'alpha.
Il gate: la distribuzione dell'alpha
Quindi, se un numero solo mente, cosa guardiamo invece? Partiamo dalla parola alfa. Alfa è semplicemente il rendimento in eccesso rispetto al riferimento: per l'azionario, quel riferimento è l'S&P. Battere l'alfa significa battere l'indice, non solo guadagnare mentre tutto il mercato sale. Ecco la mossa che cambia tutto. Invece di ridurre una strategia a un unico numero finale, poniamo la stessa domanda in ogni singolo giorno della storia. Stando qui, in questa data precisa, se fossimo entrati adesso e avessimo tenuto la posizione per circa sei mesi, avremmo battuto l'indice? Un giorno dà una risposta. Ma la storia ci offre migliaia di possibili giorni di ingresso, e ognuno dà la sua risposta. Migliaia di risposte non sono un verdetto: sono una distribuzione. Quella distribuzione è l'esame. Non la leggiamo come un numero solo; ne leggiamo la forma. Tre riferimenti ci dicono quasi tutto. La mediana è la finestra tipica: l'esito centrale, il risultato che con più probabilità avremmo vissuto. Il decimo percentile è la coda cattiva: se entri in un giorno sfortunato, all'incirca è andata così male. Quella coda è la nostra misura onesta del rischio. Il novantesimo percentile è la coda buona: il premio quando il tempismo è stato benevolo. Il grafico mostra tutta questa forma, per ciascun modello, uno accanto all'altro. E notate cosa questo, in silenzio, vieta. È l'esatto contrario dello scegliere ad arte un periodo lusinghiero. Non decidiamo quando iniziare; non raccontiamo una storia costruita su due anni fortunati. Qui i periodi sono tutti, i buoni e i pessimi, pesati per quante volte si sono davvero verificati. Una strategia non può nascondere i suoi giorni di ingresso sfortunati dentro una distribuzione che già li contiene. Per questo, prima di fidarci di qualcosa, guardiamo l'intera esperienza: non gli estremi, ma la dispersione onesta di ciò che sarebbe potuto accadere.
Train / test / validation
Abbiamo quindi una distribuzione di risultati per ogni strategia. Ma prima c'è una domanda: su quale parte della storia possiamo davvero giudicarla? Ecco la nostra risposta. Dividiamo la linea del tempo in tre blocchi, in ordine cronologico. Il primo è il blocco di addestramento: qui costruiamo la strategia, qui siamo liberi di guardare, regolare e imparare. Il secondo è il blocco di test: mentre stiamo ancora sviluppando, qui controlliamo il nostro lavoro. Il terzo è il blocco di validazione: messo da parte, mai toccato, riservato al giudizio finale.
Perché farlo? Perché giudicare una strategia sugli stessi dati con cui l'hai costruita è come correggere da solo il tuo compito. Certo che le risposte sembrano giuste: le hai scritte per farle sembrare giuste. Qualsiasi regola, se le dai abbastanza libertà, può essere piegata per adattarsi al passato da cui è nata. Perciò un buon numero sul blocco di addestramento non ci dice quasi nulla. Il verdetto conta solo sui blocchi che la strategia non ha mai visto.
Ed ecco il punto che spesso sfugge. Questa disciplina non vale solo per i modelli complessi. Vale anche per la regola più semplice: un semplice filtro di momentum, una singola soglia. Perché l'atto stesso di scegliere quella regola, dopo aver già guardato i dati, è a sua volta una forma di adattamento. Ne hai provate alcune, hai tenuto quella che funzionava e hai scartato in silenzio le altre. Quella scelta lascia un'impronta, e l'impronta si vede solo fuori campione.
Da qui in poi, quindi, ogni numero che citiamo è legato a un blocco. Addestramento, test o validazione: diremo sempre quale, perché è l'etichetta che rende il numero onesto. L'etichetta più esigente è validazione: dati che la strategia non ha mai toccato. È lì che si tiene il vero esame, e ora vedremo esattamente cosa serve per superarlo.
La regola di promozione
Abbiamo quindi la distribuzione, e abbiamo diviso la storia in tre blocchi. Ora la regola vera e propria. Una strategia passa solo se l'alfa mediano è positivo sul train, e sul test, e sulla validation. Tutti e tre. Non due su tre. Non "quasi positivo sul terzo". Tre luci verdi, oppure l'idea è morta. Un solo blocco negativo e la strategia fallisce, punto. Chiariamo due parole con precisione. Mediana, non media. La media è la semplice media aritmetica, e la media viene trascinata da poche finestre estreme. Un solo semestre spettacolare può alzare la media di una strategia mediocre per tutto il resto del tempo, e restituire un numero lusinghiero che non descrive quasi nulla della tua esperienza reale. La mediana è la finestra centrale, il risultato tipico, quello che dovresti aspettarti in una giornata normale. Non può essere comprata da un singolo picco fortunato. Per questo giudichiamo su di essa. E perché tutti e tre i blocchi? Perché ogni blocco è una nuova occasione per sbagliare. Il train è dove abbiamo costruito l'idea, quindi passarlo non dimostra quasi niente. Il test è dove l'abbiamo osservata mentre sviluppavamo, quindi ha già visto i nostri occhi. La validation è il blocco che la strategia non ha mai toccato, ed è quello che pesa davvero. Pretendere una mediana positiva su tutti e tre significa che il vantaggio deve comparire nei dati che abbiamo adattato, nei dati che abbiamo sbirciato e nei dati che abbiamo tenuto chiusi, tutto insieme. Notate quanto è più duro del solito discorso di vendita. Il solito discorso è "guardate questa bella curva che sale". La nostra regola ignora la curva e pone la stessa domanda diretta a tre mondi separati. È implacabile di proposito. Ed è proprio per questo che così poche cose la superano.
Il gate, disegnato
Questa era la regola a parole. Adesso vediamo la regola in un'immagine. Sullo schermo c'è un grafico a barre raggruppate. In basso ci sono tre gruppi, uno per ogni blocco di storia: il blocco di addestramento a sinistra, il blocco di test al centro, il blocco di validazione a destra. Dentro ogni gruppo tracciamo due barre: l'alfa mediana a sei mesi, cioè il rendimento in eccesso rispetto al benchmark, per due strategie meccaniche. Il rosso è Momentum. L'oro è l'Investment Clock. La linea dello zero attraversa il centro, ed è questa la linea che decide tutto. Guardiamo prima Momentum. Sul blocco di addestramento la barra rossa scende sotto lo zero, meno zero virgola zero due nove. Sul test sale a più zero virgola zero due zero, e sulla validazione a più zero virgola zero due cinque. Due barre buone, una barra sotto la linea. La regola chiede positivo su tutti e tre, quindi Momentum non passa. Ora l'Investment Clock, in oro: più zero virgola zero zero tre, più zero virgola zero uno tre, più zero virgola zero uno tre. Barre piccole, ma tutte e tre sopra lo zero. Passa. Ecco il punto chiave. Le due grandi barre recenti di Momentum non lo salvano. Un solo blocco sotto la linea è una bocciatura, punto. È questa la disciplina che impone il filtro, e tra poco vedremo perché superarlo non basta ancora.
Mediana E cumulato — una trappola sottile
Quindi il gate chiede una mediana positiva su tutti e tre i blocchi. Potreste pensare che questo basti. Non basta. C'è una trappola che ha ingannato anche noi, e vale la pena mostrarla in modo chiaro. Una mediana positiva può convivere con una ricchezza composta negativa. Le due cose possono puntare in direzioni opposte nello stesso momento. Vi do il caso reale, dal nostro lavoro sui fondamentali. Abbiamo testato quello che si chiama un quality tilt — una regola che inclina il portafoglio verso le aziende con bilanci più solidi. Sul blocco recente, la sua mediana di alpha era più tre virgola tre punti per finestra. Positiva. Sul nostro gate principale sembrava un promosso. Ma quando abbiamo posto l'altra domanda — se aveste semplicemente tenuto questo tilt per tutto il blocco, cosa avrebbe fatto il vostro capitale? — la risposta era meno quattordici virgola tre punti rispetto alla base. Mediana positiva, ricchezza profondamente negativa. Come possono essere vere entrambe? Perché la mediana dice solo com'era la finestra tipica, e la maggior parte delle finestre era silenziosamente positiva. Non dice nulla sulla dimensione. Poche finestre disastrose, ciascuna molto più grande dei piccoli guadagni quotidiani, hanno trascinato in basso il rendimento composto senza mai comparire al centro della distribuzione. La mediana sorride mentre la ricchezza affonda. Così abbiamo cambiato la regola. Ora leggiamo la mediana insieme al cumulato di blocco — il rendimento composto effettivo sullo stesso periodo. Una strategia deve superare entrambi. Quel quality tilt passava sulla mediana e falliva sulla ricchezza, quindi non è stato promosso. È rimasto un candidato, niente di più. Un numero solo non avrebbe mai colto tutto questo; due, letti fianco a fianco, ci sono riusciti.
Quando la mediana sorride e la ricchezza affonda
Abbiamo appena detto che la mediana e il rendimento composto possono contraddirsi. Ecco quella contraddizione, presa da un caso reale del nostro lavoro sui fondamentali. Due barre, una sola strategia: un quality tilt — una regola che inclina il portafoglio verso le aziende con bilanci più solidi — misurata contro la base sul blocco recente. L'asse verticale è il rendimento in eccesso rispetto alla base, in punti percentuali; la linea al centro è lo zero. Guardate la barra dorata a sinistra. È la mediana per finestra: più tre virgola tre punti. Sta sopra lo zero. Finestra dopo finestra, i sei mesi tipici erano una piccola vittoria. Sul nostro gate principale, questo passa. Ora la barra rossa a destra. È il rendimento composto sullo stesso blocco — cosa ha fatto davvero il vostro capitale se avete tenuto il tilt per tutto il periodo. Meno quattordici virgola tre punti rispetto alla base. Sprofonda sotto lo zero, quasi cinque volte l'altezza della barra dorata, nella direzione opposta. Stessa strategia, stesso periodo, segni opposti. Tanti piccoli guadagni, poche perdite abbastanza grandi da inghiottirli tutti — la mediana sorride mentre la ricchezza affonda. È proprio per questo che leggiamo entrambi i numeri, mai uno solo. Quel tilt non è stato promosso. E questo ci porta alla regola che ne abbiamo ricavato: il doppio ostacolo.
La doppia asticella
Superare il cancello, da solo, non basta ancora. Battere l'indice passivo — cioè tenere l'S&P e non fare nulla — è un'asticella bassa, ed è anche l'asticella sbagliata. Perciò ne aggiungiamo una seconda. Una strategia deve battere anche la regola gratuita più semplice che sappiamo scrivere sullo stesso universo di ETF. Il concorrente più onesto è una semplice regola di momentum: compra ciò che è salito di recente, tienilo, e ricontrolla ogni tanto. Cinque righe di codice, nessun addestramento, nessun dato da comprare, niente da adattare. Se il nostro macchinario sofisticato non supera entrambe le asticelle — l'indice e quella regola di cinque righe — allora quel macchinario non si è guadagnato il suo posto.
Vi do due verdetti reali. Primo, le azioni. Abbiamo costruito una rete LSTM con attenzione che alloca tra ETF azionari — il tipo di modello che dovrebbe vedere schemi invisibili a un umano. Al cancello si è rivelato indistinguibile dalla semplice regola di momentum, e nessuno dei due ha battuto l'S&P. Stesso risultato, ma uno dei due gratis. Così l'abbiamo eliminato. Secondo, le obbligazioni. Qui il nostro modello di deep learning ha addirittura perso contro una regola di momentum di cinque righe: la regola semplice ha aggiunto circa da uno virgola quattro a due virgola sei punti all'anno rispetto al modello. La complessità non era neutrale; era attivamente peggiore.
La lezione è netta, e la applichiamo a noi stessi prima che lo faccia qualcun altro. La complessità non è gratis. Costa calcolo, costa manutenzione, e soprattutto costa il rischio di ingannare se stessi con un modello troppo intricato da verificare. Perciò, se tutta quella complessità non batte cinque righe di codice, allora la complessità non è un vantaggio: è un costo. Preferiamo pubblicare le cinque righe.
La doppia asticella, a referto
Abbiamo appena definito il doppio ostacolo: per meritare il suo posto, una strategia deve battere l'indice passivo E battere la regola gratuita più semplice. Ora mettiamo alla prova due nostri contendenti contro entrambi gli sbarramenti. Guardate la tabella. Due righe, due colonne di giudizio: "batte l'indice?" e "batte la regola gratuita?". La prima riga è il nostro selezionatore di azioni a deep learning sull'azionario: reti LSTM con attenzione sugli ETF. Contro l'indice passivo, non fa meglio: resta piatto. Contro una semplice regola di momentum — comprare ciò che è salito — è statisticamente indistinguibile. Stessa performance, dentro il rumore. Verdetto, colonna a destra: morto. La seconda riga è il nostro modello a deep learning sulle obbligazioni. Qui il numero che conta è il divario: ha PERSO contro una regola di momentum di cinque righe di codice, di circa uno-virgola-quattro fino a due-virgola-sei punti percentuali all'anno. Non è un errore di arrotondamento: sono soldi veri che si capitalizzano nella direzione sbagliata. Verdetto: vince la regola semplice, ed è la regola semplice che useremmo davvero. Leggete le due righe insieme e la lezione è netta. La complessità non è gratis. Se non supera entrambi gli sbarramenti — battere l'indice e battere la regola gratuita — non è un vantaggio. È un costo. E questo apre la domanda più difficile: come evitiamo di barare su questi test?
Kill-gate, pre-registrati
Finora abbiamo parlato di come giudichiamo un risultato. Ora parliamo di qualcosa che facciamo prima ancora di vedere un risultato: scriviamo cosa farebbe fallire l'idea. Prima che parta un solo test, fissiamo in anticipo le soglie di bocciatura. Se l'alfa mediano scende sotto questa linea, se la strategia perde contro la regola semplice, se la coda negativa è peggiore di così, l'idea è morta. Ci impegniamo su quelle linee, per iscritto, prima. È esattamente ciò che fa una sperimentazione clinica seria. I medici registrano, prima che l'esperimento cominci, cosa conta come fallimento. Così non possono guardare i dati dopo e ridisegnare in silenzio il traguardo attorno al punto dove il farmaco è per caso arrivato. Noi facciamo lo stesso. La pre-registrazione ci toglie la libertà di trasformare, a posteriori, un risultato deludente in un successo. E c'è una seconda regola che conta altrettanto: testiamo una sola idea alla volta. Sembra ovvio, ma è facile violarla. Se lanci venti idee in parallelo e festeggi quella che passa, non hai trovato un vantaggio: hai trovato rumore. Con venti tentativi indipendenti, che uno superi la soglia solo per caso è più o meno ciò che dovresti aspettarti. Il risultato che passa sembra reale; in verità è aritmetica. Infine, ordiniamo gli esami dal più economico al più costoso. I controlli rapidi e grezzi vengono prima di quelli lenti e onerosi, così un'idea sbagliata muore in un pomeriggio, non dopo due settimane di calcolo. Quell'ordine non è solo efficienza: protegge il nostro giudizio, perché più tempo investiamo in un'idea, più vogliamo che sia vera. Uccidiamola presto, uccidiamola a poco prezzo e uccidiamola contro una linea che abbiamo tracciato prima di poterci innamorare della risposta.
I kill-gate, pre-registrati
Un momento fa abbiamo detto che i criteri di bocciatura vanno scritti prima del test, come in una sperimentazione clinica. Eccoli, una riga ciascuno. Guardate la colonna di sinistra. Riga uno, il segno distributivo: se l'alfa mediano a sei mesi è pari o inferiore a zero su una qualsiasi delle tre finestre — addestramento, test o validazione — l'idea è morta. Non la media delle tre. Una sola basta. Riga due, battere l'indice passivo: se la strategia non domina distributivamente il semplice possesso dell'indice, è bocciata. Riga tre, battere la regola gratis: deve essere chiaramente migliore della regola più semplice sullo stesso insieme di ETF, altrimenti stiamo pagando per nulla. Riga quattro, al netto di tasse e costi: sottraiamo una tassa del ventisei per cento e i costi di negoziazione, e se il vantaggio sparisce, è morta. Riga cinque, un solo numero autorevole: se sopravvive solo come la migliore di tante varianti, è una scelta di comodo, ed è bocciata. Riga sei, robustezza: cambiate il seme casuale, la finestra o il calendario di ribilanciamento; se il risultato si ribalta, è morta. Ogni soglia di questa tabella è stata scritta prima di guardare un solo risultato. È questa disciplina a dare valore all'unico numero che riportiamo ora.
Un solo numero autoritativo
Un test ci delude. La mediana torna piatta, o negativa su uno dei blocchi. E in quel momento la tentazione è quasi fisica: riprovare. Sposta un parametro, allarga una finestra, cambia il modo in cui ordiniamo gli ETF, e rilancia. Prima o poi una di quelle varianti passerà. E qui sta la verità scomoda: quasi certamente una passerà davvero. Se provi venti versioni leggermente diverse della stessa idea, il puro caso te ne consegna almeno una che supera la soglia. È la stessa identica aritmetica di uno studio clinico che prova in silenzio venti dosi di un farmaco e pubblica solo quella che ha battuto il placebo. Non è una scoperta. È pesca, e poi la cornice attorno al pesce. Perciò ci imponiamo una regola semplice. Il risultato che conta è quello che abbiamo registrato prima — la versione a cui ci siamo impegnati prima di vedere l'esito. Non la variante più bella ripescata dopo. Se abbiamo davvero bisogno di esplorare un parametro — e a volte serve, perché onestamente non conosciamo in anticipo il valore giusto — allora non possiamo tenere la cella vincente. Giudichiamo l'intera esplorazione con la mediana di tutte le celle, mai con il massimo. La mediana di venti tentativi ti dice cosa fa l'idea in media; il massimo ti dice solo quanto è stato fortunato il tuo tiro migliore. Sembra legarsi le mani da soli, ed è proprio così. Significa buttare via numeri che ci piacerebbe citare. Ma ogni numero che buttiamo via è una bugia che abbiamo scelto di non raccontare. Un'idea, un verdetto registrato prima, un unico numero autorevole. È questo il prezzo di un risultato di cui potersi fidare davvero fra sei mesi, quando a valutarti sarà il mercato, non il backtest.
Onesta' sul campione
Ora vi dobbiamo una confessione scomoda sul campione stesso, perché cambia quanto peso possiamo dare a un singolo risultato. Ricordate: per ogni giorno della storia misuriamo l'alfa nei sei mesi successivi. Sembrano migliaia di osservazioni. Non lo sono. Due finestre che partono a un giorno di distanza condividono quasi tutti i loro dati, si sovrappongono su quasi sei mesi dello stesso mercato. Quindi le osservazioni non sono indipendenti, e il conteggio onesto è molto più piccolo. In ogni blocco abbiamo davvero solo circa otto o dieci finestre veramente indipendenti, più o meno una per ogni tratto di sei mesi che non si sovrappone. Otto o dieci, non migliaia. Questo numero dovrebbe renderci umili. Con un campione così piccolo, un vantaggio mediano sotto i cinque punti circa per finestra, visto su un solo blocco, è statisticamente indistinguibile dalla fortuna. Potrebbe essere abilità vera; potrebbe altrettanto facilmente essere la moneta che cade dalla nostra parte qualche volta di fila, e noi non sapremmo distinguerli. Non è un dettaglio tecnico da mettere da parte, è il limite di fondo dei dati. Ed è esattamente per questo che il gate è costruito così. Non chiediamo un numero grande su un blocco. Chiediamo il segno giusto, una mediana positiva, su tre blocchi distinti insieme, train, test e validation. Azzeccare il segno tre volte per caso è molto meno probabile che azzeccarlo una volta sola. È così che ricompriamo un po' della fiducia che il campione piccolo ci toglie. Significa anche che nessun risultato del gate è mai una certezza. È un'evidenza, calibrata su ciò che questi dati possono onestamente sostenere, e nulla di più. Il meglio che i dati ci possono dare è una scommessa fondata, mai una garanzia.
Prima il netto-tasse
C'è un ultimo filtro, e per chi investe davvero è forse il più duro di tutti. Ogni numero che ci avete visto giudicare stasera è giudicato al netto. Al netto dell'imposta italiana del ventisei per cento sui guadagni in conto capitale, e al netto dei costi reali di negoziazione: lo spread che si paga, le commissioni, l'attrito di muovere davvero il denaro. Questo conta più di quanto si pensi. Una strategia che negozia spesso, o che raccoglie molti piccoli guadagni, cede una fetta di ogni finestra vincente al fisco e al broker. Quella fetta non capitalizza per voi; semplicemente sparisce. Sui nostri modelli abbiamo misurato questo peso in modo diretto. Passare dal rendimento lordo — il numero che stampa un backtest ingenuo — al rendimento netto onesto costa tra i tre e i quattro virgola quattro punti l'anno. Fermatevi un istante su questa cifra. Tre-quattro virgola quattro punti l'anno sono più grandi della maggior parte dei premi di fattore che vengono pubblicati nei paper accademici e venduti come vantaggi. In altre parole, il solo peso di tasse e costi può essere più grande dell'intero presunto vantaggio di una strategia. Il grafico in questa slide mostra proprio quel divario, l'altezza che svanisce tra lordo e netto. La regola quindi è semplice e severa. Una strategia che vince sul rendimento lordo ma perde una volta sottratti tasse e costi è, per chi mette davvero i propri soldi, una strategia perdente. Punto. E qui sta lo scandalo silenzioso: quasi nessun backtest straniero mette in conto tutto questo. Sono costruiti per un mondo senza tasse, o con tasse diverse, e le loro belle curve lorde non sopravvivrebbero mai al test italiano al netto d'imposta. Quel test lo mettiamo per primo, non per ultimo.
Il catalogo degli artefatti
Teniamo un catalogo. Non delle nostre vittorie, ma dei nostri autoinganni: nove backtest che un tempo sembravano brillanti e si sono rivelati falsi. Per ciascuno annotiamo due numeri: quello che prometteva prima che ne scoprissimo il difetto, e quello che restava dopo. Ne vediamo qualcuno insieme, perché lo schema conta più di ogni singolo numero.
Primo: un modello che batteva il benchmark equipesato sette volte su otto. Notevole, finché non abbiamo aggiunto un seme casuale in più. Allora è diventato sette su dodici. Ovvero, testa o croce. La "bravura" era il seme che ci era capitato di scegliere.
Poi un miglioramento di nove punti, di cui abbiamo ricostruito l'origine: il novantasette per cento veniva da un solo mercato rialzista. Non una strategia, un calendario.
Poi una variante che dichiarava più trentasette virgola nove per cento. Dentro, il codice aveva scartato in silenzio una posizione crollata del cento per cento — una perdita totale, cancellata senza dirlo. Il valore onesto era più otto virgola nove.
Una strategia che segnava più centosettantanove per cento è svanita nel momento in cui abbiamo contato un costo fiscale di secondo ordine che ci era sfuggito.
E quella della prima slide: la strategia short che stampava più di diecimila per cento l'anno. Su prezzi negoziabili, il suo rendimento corretto per il rischio — lo Sharpe — era zero. Esisteva solo perché i nostri prezzi di esecuzione erano immaginari.
Nove backtest perfetti. Nove autopsie. Ognuno sarebbe apparso spettacolare su una slide, e ognuno era privo di valore. Ecco perché siamo così lenti a festeggiare una bella curva. Questo errore non è raro: è la norma. Un backtest è colpevole finché non se ne prova l'innocenza, e il catalogo è il nostro registro di come, esattamente, muore un numero bellissimo.
Verifica adversariale
Superare l'esame non è il traguardo. È il momento in cui un risultato va sotto processo. Ogni risultato importante che passa, poi lo consegniamo a un controllo indipendente, il cui unico compito è provare a smontarlo. Non ad ammirarlo: a confutarlo. Ci facciamo quattro domande dirette. Prima: è solo un artefatto dei dati? Una stranezza di una fonte, di una scelta di pulizia, di un tratto fortunato. Seconda: è davvero solido dal punto di vista statistico, vista quanto è piccolo il campione? Ricordiamo che le finestre di sei mesi si sovrappongono, quindi un blocco contiene solo circa otto o dieci osservazioni indipendenti: una base sottile su cui cantare vittoria. Terza: c'è un look-ahead nascosto, cioè un'informazione dal futuro che è entrata di soppiatto in una decisione del passato? Quarta: la dimensione economica c'è davvero, una volta contato tutto — la tassa, i costi, gli attriti di negoziazione — oppure il vantaggio si riduce a zero quando incontra il mondo reale? Facciamo questi controlli da avversari, perché un revisore benevolo conferma ciò che spera di trovare. Diversi nostri risultati promossi non hanno superato questo passaggio. Alcuni sono stati ridimensionati: il vantaggio era vero, ma più piccolo di quanto diceva il primo risultato. Altri sono stati eliminati del tutto: ciò che sembrava abilità era uno degli artefatti del nostro catalogo, con un travestimento migliore. È scomodo. Quei risultati li abbiamo costruiti noi; una parte di noi vorrebbe che reggessero. Ma il punto è proprio separare ciò che desideriamo da ciò che è vero. Un risultato che noi stessi abbiamo attaccato con forza, da quattro lati, e che comunque non siamo riusciti a rompere: è l'unico di cui ci fidiamo, e l'unico che mettiamo davanti a voi.
Cosa ti da' il gate
Dopo tutto questo, che cosa ti consegna davvero il cancello? Siamo precisi, perché è qui che l'onestà conta di più. Il cancello ti dà prove. Non ti dà mai certezza. Quello che fa è limitare un pericolo specifico: il bias di selezione, cioè il rischio di esserci ingannati scegliendo un periodo fortunato o una variante fortunata. Non limita, e non può limitare, il rischio economico. Il mondo può cambiare. Un regime che ha retto per vent'anni può rompersi il martedì successivo. Il futuro può differire dal passato, e nessun esame, per quanto severo, cancella questo fatto. Perciò quando una strategia passa, non diciamo "questo funzionerà". Diciamo "questo è sopravvissuto al test più duro che sappiamo costruire, su dati che non aveva mai visto". È un'affermazione molto più piccola e molto più onesta. Ed ecco la parte che ci tiene onesti con noi stessi. I nostri modelli di produzione, oggi, sono ancora giudicati in-sample, cioè sugli stessi dati con cui sono stati costruiti. Sono stati costruiti e regolati sulla storia, quindi i risultati del cancello che avete visto sono forti, ma non sono ancora il vero verdetto fuori campione. Quel verdetto è ancora davanti a noi. Due modelli candidati, reti LSTM con attenzione che allocano tra ETF, affrontano una decisione pre-registrata su dati puliti e mai visti, a dicembre 2026. Pre-registrata significa che abbiamo già scritto, prima che arrivino i dati, che cosa ci farebbe tenerli e che cosa ci farebbe eliminarli, così non possiamo spostare l'asticella dopo. Comunicheremo l'esito in ogni caso. È tutto qui il punto. La disciplina che abbiamo descritto non la applichiamo solo alle strategie degli altri. La applichiamo alle nostre, a una data fissa, in pubblico, con la regola di eliminazione scritta in anticipo. Se i nostri modelli non superano l'esame, lo sentirete dire da noi.
Il metodo e' il prodotto
Chiudiamo dove abbiamo iniziato. Il numero che ha aperto questo episodio — un backtest che mostrava oltre diecimila per cento all'anno, il cui rendimento corretto per il rischio su dati puliti era esattamente zero — non era un caso. È l'aspetto che questo intero settore assume quando nessuno lo tiene sotto controllo. E questo ci dice che cosa vendiamo davvero. Non è una strategia. È un metodo.
Pensate a che cosa è, in fondo, l'esame. È una prova scritta prima di vedere i risultati. La regola di promozione — una mediana positiva su train, test e validation, tutti e tre — è fissata in anticipo, così non possiamo spostare il traguardo dopo la corsa. Il giudizio arriva al netto dell'imposta italiana del ventisei per cento e dei costi reali di negoziazione, perché una strategia che vince al lordo e perde al netto è, per un investitore vero, una perdita. Ed è abbastanza onesto da pubblicare i propri fallimenti: nove backtest perfetti, nove autopsie, raccolti in un catalogo che non nascondiamo.
È quest'ultima parte che sorprende le persone. Perché mostrare al mondo i propri errori? Perché un metodo di cui ci si fida solo quando ci dà ragione non è un metodo: è pubblicità. Il valore sta proprio nel fatto che uccide le nostre stesse idee: un modello di deep learning per la selezione azionaria non migliore di un semplice momentum, un modello obbligazionario battuto da cinque righe di codice. Un metodo che sopravvive alla propria onestà è l'unica cosa che vale la pena vendere.
In un campo pieno di curve che salgono soltanto, questa disciplina è il vantaggio che non si consuma. Le strategie svaniscono. I regimi cambiano. Ma un esame che non si può aggirare continua a funzionare, perché è costruito per diffidare proprio dei numeri che più desideriamo credere.
Nel prossimo episodio scendiamo di un livello in questa diffidenza: il rigore del backtesting — perché una performance forte sull'intera finestra, per quanto bella, non è una previsione del futuro.