Modello addestrato vs AI generativa
Benvenuti alla puntata quattro. Partiamo da una tentazione onesta. Aprite una finestra di chat, scrivete "dammi un portafoglio" e dieci secondi dopo un grande modello linguistico — un sistema come ChatGPT o Claude, addestrato a prevedere la parola successiva in un testo — vi restituisce una risposta pulita e sicura. Nomi, pesi, una breve motivazione. Sembra qualcosa che un analista giovane impiegherebbe una settimana a scrivere. Ora confrontatelo con quello che facciamo noi per costruire un allocatore addestrato. Settimane per raccogliere dati di prezzo e fondamentali puliti. Settimane per dividere quei dati in finestre di addestramento, test e validazione, così che il modello non guardi mai il futuro. Poi il lavoro lento: verificare se il modello regge davvero fuori campione. Una strada richiede dieci secondi. L'altra richiede un mese. Quindi la domanda tentatrice di questa puntata è semplice, e conviene dirla ad alta voce: la scorciatoia è reale? Possiamo fidarci di un'allocazione estemporanea — una risposta ottenuta al volo da un prompt — di un chatbot, invece di un modello addestrato e validato? Non siamo qui per deridere il chatbot, e non siamo qui per adorarlo. Nella prossima mezz'ora cercheremo di essere corretti. Vedremo prove concrete che questi modelli sanno leggere il linguaggio finanziario ed estrarre un segnale vero — questa parte non è pubblicità. E poi saremo precisi sulla distanza tra leggere bene un documento e prevedere un mercato. Perché sono due mestieri diversi. Una risposta fluente non è una previsione. È questa la linea che percorreremo oggi. Cominciamo da dove ogni confronto dovrebbe cominciare: mettendo i due motori fianco a fianco e ricordando esattamente cosa ciascuno è costruito per fare.
I motori in un colpo d'occhio
Prima di confrontare, riprendiamo i motori che abbiamo costruito in questa serie, perché la domanda di oggi ha senso solo rispetto a loro. Usiamo tre famiglie. Primo, i nostri modelli di deep learning tra i modelli principali: reti LSTM con attenzione sugli ETF. LSTM, memoria a lungo e breve termine, è una rete neurale che legge una sequenza di prezzi nel tempo; la parte di attenzione le permette di pesare quali ETF contano per la decisione. Secondo, i modelli candidati: varianti che testiamo ma non abbiamo promosso tra i modelli principali. Terzo, le regole meccaniche: ricette semplici e trasparenti, momentum o filtri di regime, senza alcun apprendimento. Ora, l'inquadramento di oggi. Notate cosa nessuno di questi è. Nessuno è un chatbot. Ognuno ottimizza i pesi di portafoglio sui dati di prezzo, e ognuno affronta lo stesso cancello: una rigida divisione in train, test e validazione prima di fidarci. Quella differenza, macchina che ottimizza ed è filtrata contro modello che conversa, è tutto l'episodio. Vediamo perché.
Due macchine diverse
Definiamo con precisione le due macchine, perché condividono la parola "AI" e quasi nient'altro.
La prima macchina è un modello linguistico di grandi dimensioni, o LLM. Nella sua essenza è un predittore del token successivo. Lo addestriamo su una quantità enorme di testo, e il suo unico compito è continuare il linguaggio in modo che suoni plausibile. "Token successivo" significa semplicemente che indovina il prossimo frammento di parola, poi il successivo, e poi ancora. Il suo obiettivo, ciò per cui è stato ottimizzato, è la fluidità linguistica. In nessun momento dell'addestramento vede un portafoglio, una perdita massima, o un budget di rischio. Non gli è mai stato chiesto di gestire denaro; gli è stato chiesto di suonare corretto.
La seconda macchina è un allocatore addestrato: nel nostro caso, reti LSTM con attenzione sugli ETF. Questa macchina minimizza una funzione di perdita sui percorsi di prezzo. La "perdita" è un numero che misura quanto è cattivo un risultato, e qui quel numero bilancia il rendimento contro il rischio contro il drawdown, cioè la caduta dal massimo al minimo che tanto ci interessa. Il suo risultato è un insieme di pesi che sommano a uno: un portafoglio vero. E, punto cruciale, lo giudichiamo walk-forward: lo testiamo su dati che non ha mai visto durante l'addestramento, periodo dopo periodo, come li avrebbe vissuti il denaro reale.
Notate quindi il divario. Stessa parola, "AI"; obiettivi opposti. Una macchina predice parole; l'altra ottimizza un portafoglio sotto vincoli. Una è valutata sul fatto che la frase scorra; l'altra sul fatto che la curva del capitale sopravviva. Quando qualcuno chiede un'allocazione a un LLM, sta chiedendo a un motore di fluidità di imitare il risultato di un motore di ottimizzazione che non è mai stato addestrato a essere.
Tenete a mente questa distinzione. Nella prossima slide guardiamo le prove, perché, per essere onesti, gli LLM sanno davvero leggere segnale dal testo. La domanda è quale tipo di segnale, e a quali condizioni.
L'evidenza: gli LLM SANNO leggere segnale
Siamo onesti con questi modelli, perché se lo meritano. Ecco una prova concreta che un modello linguistico di grandi dimensioni sa leggere un segnale finanziario. In uno studio di Lopez-Lira e Tang, pubblicato nel 2023 e aggiornato nel 2024, gli autori danno in pasto a un modello grande — GPT-4 — dei titoli di notizie e fanno una domanda semplice: è una buona o una cattiva notizia per il titolo azionario? Per "sentiment" intendiamo esattamente questo: un punteggio numerico di quanto un testo sia positivo o negativo. E qui arriva il punto notevole. Quel punteggio di sentiment prevedeva il rendimento del giorno dopo. Non in modo perfetto, ma con un vantaggio reale e misurabile, superiore al caso.
Ciò che rende il risultato davvero notevole è che questa capacità è emergente. Quando gli autori fanno la stessa prova su modelli più vecchi e più piccoli — GPT-1, GPT-2 e BERT, un modello linguistico del 2018 — questi non ci riescono. Il segnale compare solo quando il modello è abbastanza grande. È un risultato serio, e non va liquidato.
Ma gli autori stessi segnalano due avvertenze oneste, e le teniamo a mente entrambe. Primo: qui si estrae sentiment — si legge un titolo e se ne valuta il tono. Non è allocazione. In questo studio nessuno chiede al modello: "ecco il mio portafoglio, dammi i pesi". Secondo: il vantaggio si comprime. Man mano che più operatori adottano lo stesso trucco, il profitto che ne deriva tende a zero, esattamente come ci aspettiamo da qualunque segnale che diventa affollato.
Diciamolo chiaramente. Un modello linguistico grande sa estrarre segnale dal testo. È una capacità concreta e utile, e non è hype. La domanda aperta — quella che ci accompagna nel resto di questo intervento — è se leggere bene un titolo diventi mai la stessa cosa che produrre un'allocazione di cui possiamo fidarci. Sono due mestieri molto diversi, e ora vedremo perché.
Bias look-ahead — la linea del tempo
Le prove dicono quindi che un modello linguistico sa leggere un segnale dal testo. Ora dobbiamo porci la domanda difficile: quando testiamo quella capacità sul passato, stiamo misurando abilità, oppure stiamo misurando una fuga di informazioni? Qui entra in gioco il look-ahead bias, cioè l'uso di informazioni che non sarebbero state disponibili nel momento della decisione. Glasserman e Lin, nel 2023, hanno mostrato che questo è il problema profondo nel testare a ritroso un modello linguistico, e lo schema in questa slide spiega perché.
Guardiamo le due linee temporali. La linea in alto è un modello onesto. In una qualsiasi data di test — mettiamo di trovarci nel 2015 — un modello onesto può usare solo i dati fino a quella data. Niente che venga dal futuro attraversa la linea. La linea in basso è il modello linguistico. Quel modello è stato addestrato su un'enorme quantità di testo, e quel corpus di testo si estende oltre il 2015, spesso di anni. Così, quando chiediamo al modello di "prevedere" ciò che accade nel 2015, il suo addestramento contiene già gli articoli, i documenti societari, i commenti scritti dopo il 2015. La sua data di taglio — la data in cui la sua conoscenza si ferma — cade dopo l'evento stesso che gli abbiamo chiesto di prevedere.
Questa è la trappola. Il modello non sta prevedendo: forse sta ricordando. E ricordare la risposta, su un grafico di backtest, sembra identico all'abilità. Produce un'abilità apparente che dal vivo non può esistere, perché in tempo reale il testo futuro non esiste ancora. Nessuno nel 2015 poteva leggere ciò che è stato scritto nel 2018.
Non è un difetto che si corregge con un prompt più attento. È insito nel modo in cui il modello è costruito. Perciò, prima di fidarci di un solo numero di backtest da un modello linguistico, dobbiamo sapere dove finisce la sua conoscenza. Nella prossima slide vedremo come questa contaminazione peggiora quando il modello viene anche distratto da testo irrilevante.
Look-ahead + l'effetto distrazione
Quindi il problema temporale che abbiamo appena disegnato è solo metà della storia. Anche quando le date sono corrette, una seconda contaminazione si nasconde dentro il testo stesso. Glasserman e Lin, nel 2023, l'hanno mostrato con un esperimento pulito, quasi chirurgico. Hanno preso dei titoli di giornale e li hanno fatti valutare a un modello linguistico per il sentiment — cioè il tono emotivo, positivo o negativo — allo scopo di prevedere i rendimenti. Funzionava. Poi hanno fatto una sola cosa: hanno anonimizzato i nomi delle aziende. Hanno tolto "Apple", "Ford", "Lehman" e li hanno sostituiti con un segnaposto neutro. E la performance misurata è calata. Fermiamoci su questo. Parte di ciò che sembrava previsione non era affatto previsione. Il modello riconosceva aziende specifiche e ricordava, in silenzio, cosa era successo loro — perché quegli esiti sono impressi nel testo su cui è stato addestrato. Gli autori lo chiamano effetto distrazione: il nome stesso distrae il modello dal segnale reale contenuto nelle parole e vi trascina dentro un senno di poi memorizzato. Per essere onesti, un po' di segnale genuino è sopravvissuto all'anonimizzazione — il modello legge davvero il tono. Ma ecco la conseguenza scomoda. In un backtest storico ingenuo, non si può separare in modo pulito la previsione vera dall'esito memorizzato. Sono fuse insieme nello stesso numero. Si ottiene un'unica cifra di performance, e nessun modo onesto per dire quanta parte sia abilità e quanta sia il modello che ricorda il finale di una storia già letta. Questa, a nostro avviso, è la ragione principale per cui un backtest di un modello linguistico dall'aspetto splendido può essere semplicemente un'illusione. Non è che il modello ti stia mentendo. È che il test stesso è contaminato, e la contaminazione abbellisce il risultato. Perciò, prima di celebrare qualsiasi numero di performance storica di un modello linguistico, dobbiamo chiederci: il modello ha previsto questo — o sapeva già come va a finire? Ora, vediamo cosa ha prodotto davvero un allocatore addestrato.
Cosa ha prodotto un allocatore addestrato
Ecco quindi l'altra macchina, disegnata sugli stessi assi. La linea blu è il rendimento cumulato del nostro allocatore addestrato; la linea grigia è l'indice S&P 500 nello stesso periodo. Guardate la distanza che si apre tra le due. Ora, la cosa importante non è quanto è grande quella distanza. È da dove viene quella linea. Questo risultato non è nato da un testo fluente. Nessuno ha scritto un prompt astuto e si è fatto restituire un portafoglio. Questa linea è il prodotto di una funzione di perdita: un numero che il modello è stato costretto a rendere sempre più piccolo, misurato su percorsi reali dei prezzi, giorno dopo giorno, su anni di storia. E il verdetto che state guardando è stato letto su dati tenuti da parte: la finestra di test e validazione che abbiamo definito negli episodi precedenti, dati che il modello non ha mai visto mentre imparava. Questo è il vaglio. Sotto il cofano c'è ciò che abbiamo già descritto: reti LSTM con attenzione sugli ETF, cioè il modello mantiene una memoria del passato recente e impara a quali strumenti dare peso in ogni momento. Resto di proposito a un livello alto; i dettagli interni non sono il punto stasera. Il punto sono tre proprietà che questa curva ha e che un prompt occasionale non ha. Primo, è riproducibile: fai girare lo stesso modello sugli stessi dati in ingresso e ottieni la stessa linea, ogni volta. Secondo, è verificabile: ogni allocazione risale a una regola stimata su dati passati, non a una frase generata sul momento. Terzo, e questo conta più di tutto per le prossime slide, è libera dal problema del look-ahead, cioè dello sbirciare in avanti, perché il modello ha visto soltanto prezzi passati. Non poteva leggere per sbaglio le notizie di domani. Quali che siano i suoi meriti, e su quelli saremo onesti, questa è una previsione che si può ispezionare. Tenete a mente questa parola, ispezionare, perché ora ci chiediamo se la risposta di un LLM sopravvive a essere eseguita due volte.
Non lo riproduci due volte
La slide precedente ci ha mostrato un'allocazione proposta da un LLM. Ora poniamo la domanda che decide se sia davvero una strategia: possiamo riottenerla? La riproducibilità — la capacità di eseguire lo stesso processo sugli stessi dati e ottenere lo stesso risultato — è il fondamento di qualsiasi strategia verificabile. Se non possiamo riprodurre una decisione, non possiamo testarla sul passato, non possiamo verificarla, e non possiamo difenderla davanti a un cliente o a un'autorità. Qui il grande modello linguistico, lo stesso tipo di sistema di cui parliamo, ci lavora contro per come è costruito. Ouyang, Zhang, Harman e Wang, sulla rivista ACM Transactions on Software Engineering nel 2024, hanno fatto una prova accurata. Hanno dato al modello lo stesso identico prompt, molte volte, su ottocentoventinove compiti di programmazione. E le risposte non coincidevano. A seconda del compito, tra il quarantasette e il settantasei per cento tornavano diverse tra loro: stessa domanda, risposte diverse. Si potrebbe obiettare: mettiamo la temperatura a zero, il parametro che dovrebbe rendere il modello deterministico. Lo hanno provato. La temperatura zero riduce la variazione, ma non la elimina. La casualità è insita nel modo in cui questi sistemi generano testo. Diciamolo con precisione. Un'allocazione che chiediamo oggi, e che domani non riusciamo a riottenere, non è un processo. È una singola estrazione da una slot machine. Può anche essere una buona estrazione. Ma non possiamo distinguere un buon processo da un colpo di fortuna se non possiamo mai tirare due volte la stessa leva. Un modello addestrato, al contrario, è una funzione fissa: stessi pesi, stessi dati, stesso risultato, ogni volta. Questa differenza non è estetica: è la linea tra ciò che possiamo testare e ciò che possiamo solo sperare. E ci porta al problema successivo: anche mettendo da parte la riproducibilità, l'LLM non ha una funzione di perdita, né un modello di rischio, né alcuna nozione di tasse.
Nessuna loss, nessun modello di rischio, nessuna tassa
Quindi il prompt ha letto il segnale — ma leggere un segnale non è costruire un'allocazione. Ecco cosa un prompt istantaneo, cioè una singola domanda scritta una volta in una chat, non fa. Primo: non minimizza una perdita. Un modello addestrato ha una funzione obiettivo: cerca i pesi che rendono più piccolo possibile un certo errore misurato — è questo il significato di "argmin di una perdita", il punto in cui l'errore tocca il fondo. Il prompt non compie questa ricerca. Scrive la risposta che suona più plausibile, non quella che dimostrabilmente riduce il tuo rischio. Secondo: non conosce i tuoi vincoli. Non sa che qui, in Italia, le plusvalenze sulla maggior parte degli strumenti finanziari sono tassate al ventisei percento, quindi un'operazione che sembra vantaggiosa al lordo può risultare peggiore, al netto, del non fare nulla. Terzo: non fa walk-forward. Non prova la regola su dati che non ha mai visto, e non sottrae i costi di transazione — gli spread e le commissioni che erodono in silenzio ogni ribilanciamento. E quarto: può allucinare, cioè inventare. Può inventare un ticker che non esiste, darti pesi che non sommano a cento, o citare una statistica mai esistita. Quest'ultimo caso è pericoloso proprio perché la frase attorno si legge in modo perfetto. Nulla di tutto questo è un difetto che possiamo correggere con un prompt migliore. È ciò che la macchina è: un abile riconoscitore di schemi nel linguaggio, non un ottimizzatore su rischio e rendimento. Un'allocazione è ottimizzazione disciplinata sotto vincoli reali — una perdita da minimizzare, un fisco da rispettare, costi da nettare e un test walk-forward da superare. La chat salta ognuno di questi passi e risponde comunque con totale sicurezza. Perciò ora costruiamo com'è fatta davvero una pipeline onesta — dove ciascuno di questi pezzi mancanti viene rimesso al suo posto, di proposito.
La pipeline onesta
Quindi, se un prompt estemporaneo non è chi decide, dove trova posto davvero un modello linguistico? Disegniamo la pipeline onesta, da sinistra a destra. Si parte dal testo grezzo: notizie, chiamate sugli utili, documenti depositati alle autorità — la prosa disordinata che nessun foglio di calcolo può contenere. È qui che un grande modello linguistico si guadagna il suo posto. Lo usiamo per riassumere quel testo e, soprattutto, per estrarre una caratteristica di sentiment — un unico numero disciplinato, per esempio un punteggio da meno uno a più uno, che misura quanto è negativo o positivo il linguaggio. È esattamente ciò che le evidenze sostengono: leggere il tono, non fissare i pesi. Ora osservate la freccia. Quella caratteristica non va a un cliente. Scorre a valle verso un allocatore addestrato — le reti LSTM con attenzione sugli ETF descritte prima — dove sta accanto al prezzo, alla volatilità e agli altri input. L'allocatore è la macchina che minimizza una funzione di perdita, avanza nel tempo così da essere testata solo su dati mai visti, sottrae costi di transazione e tasse, e poi affronta il cancello: la suddivisione onesta in addestramento, test e validazione che abbiamo posto come standard. Solo dopo tutto questo produce i pesi. Notate la divisione del lavoro. Il modello linguistico sta a monte — uno strumento di ricerca e di caratteristiche, fluente, veloce, instancabile nel leggere. La decisione resta a valle, con l'allocatore validato che porta con sé una perdita, un modello di rischio e un curriculum riproducibile. La fluenza è l'input; la disciplina è la decisione. Non è un compromesso tra i due motori — è il cablaggio corretto. Ci permette di prendere l'unica cosa che gli LLM sanno fare bene in modo dimostrabile e collocarla proprio dove non può fare danni. Ora vi mostro che questa non è un'intuizione: i modelli di dominio costruiti così sono a loro volta addestrati, non semplicemente interrogati.
Gli LLM di dominio si addestrano, non si "promptano"
Dunque, se un LLM — un grande modello linguistico, cioè un sistema addestrato a prevedere la parola successiva su enormi quantità di testo — sa davvero leggere un segnale finanziario, da dove viene questa competenza? La risposta onesta è questa: viene da un addestramento deliberato su dati finanziari selezionati, non da un prompt astuto che scriviamo lì per lì. Due esempi lo rendono concreto. BloombergGPT, di Wu e colleghi nel 2023, è stato addestrato da zero su decenni di testi finanziari di Bloomberg, insieme a dati generali. FinGPT, di Yang e colleghi nello stesso anno, è la controparte open source: costruito per essere messo a punto sul linguaggio finanziario, non interrogato a freddo. Entrambi sono stati progettati, in mesi di lavoro, su dati di dominio. È l'opposto di aprire una chat e chiedere: "Come dovrei allocare il mio portafoglio?". Quindi siamo precisi su cosa sono questi sistemi, anche al loro meglio. Sono motori di linguaggio naturale: leggono e scrivono il linguaggio finanziario in modo eccellente. Sanno classificare il tono di un documento, riassumere una conference call, estrarre una posizione da un titolo di giornale. Questo è reale ed è utile. Ma notiamo cosa ancora non sono. Non sono ottimizzatori di portafoglio. Al loro interno non c'è un modello di rischio: nessuna matrice di covarianza, nessun obiettivo di volatilità, nessun vincolo sulla perdita massima. Producono parole migliori sui mercati; non producono una decisione di allocazione ottimizzata rispetto al rischio. Questa distinzione è il cuore di questo episodio. Leggere bene il linguaggio e decidere come pesare gli asset sono due lavori diversi, svolti da due macchine diverse. Anche l'LLM finanziario più forte resta saldamente dal lato del linguaggio. Perciò, quando tra poco confronteremo un prompt estemporaneo con un allocatore addestrato, ricordiamo: non stiamo confrontando un modello debole con uno forte. Stiamo confrontando uno strumento che scrive sui mercati con uno strumento costruito per dimensionare le posizioni al loro interno.
LLM prompt spot vs allocatore addestrato
Mettiamo dunque le due macchine una accanto all'altra, con onestà, lungo le sette dimensioni costruite nelle slide precedenti. E precisiamo cosa stiamo confrontando: un prompt spot a un LLM — una singola domanda scritta in una chat, con risposta immediata — contro un allocatore addestrato, un modello adattato su dati passati per assegnare i pesi. Prima dimensione, l'ottimizzazione di un obiettivo di rischio: l'allocatore minimizza un obiettivo definito — il rendimento penalizzato per il rischio; il prompt spot non minimizza nulla, produce solo testo fluente. Seconda, il controllo del look-ahead — dove look-ahead significa che il modello sbircia informazioni che all'epoca non poteva avere: l'allocatore vede solo dati passati, per costruzione; il prompt spot è contaminato, perché, come hanno mostrato Glasserman e Lin nel duemilaventitré, l'LLM sa già cosa è accaduto dopo la notizia che sta leggendo. Terza, la riproducibilità: l'allocatore, dati gli stessi input, restituisce gli stessi pesi; l'LLM no — Ouyang e colleghi, duemilaventiquattro, hanno trovato che perfino a temperatura zero, l'impostazione che dovrebbe togliere la casualità, lo stesso prompt dà risposte diverse in gran parte dei casi. Quarta, il gate di backtest e out-of-sample che abbiamo difeso nell'Episodio 3: è il cuore dell'allocatore; non è nativo in un prompt di chat. Quinta, la consapevolezza di rischio, costi e tasse: l'allocatore è giudicato al netto del ventisei per cento di tassazione italiana sui capital gain; il prompt, di default, non ne sa nulla. Sesta, la trasparenza: l'allocatore è pesi fissi più log verificabili; il prompt è un'estrazione opaca che non si può ispezionare fino in fondo. E settima, costo e latenza: qui, finalmente, vince l'LLM — istantaneo ed economico, mentre addestrare l'allocatore è oneroso. Il verdetto onesto, allora: su sei dimensioni su sette che decidono se fidarsi di un'allocazione, vince il modello addestrato. L'LLM vince solo su velocità e prezzo. Teniamolo a mente, perché ora vedremo cosa accade quando un'affermazione clamorosa di superiorità dell'LLM incontra la replica.
Un monito: il paper ritirato
Finora abbiamo visto che i modelli linguistici sanno leggere un segnale, ma che è sulla riproducibilità che inciampano. Ora vi racconto un caso ammonitore che unisce i due fili. Nel 2024 esce un lavoro sorprendente di Kim, Muhn e Nikolaev, preprint arXiv numero 2407.17866. Riportava che un modello linguistico generico, ricevendo soltanto i numeri di un bilancio, sapeva competere con un modello di machine learning addestrato nell'analizzare quel bilancio, e batteva perfino gli analisti professionisti nel prevedere la direzione degli utili futuri. È un risultato da titolo di giornale. Ha circolato molto. È proprio il tipo di conclusione che faresti in screenshot da mandare al comitato investimenti. Ed ecco la svolta: nel febbraio 2025 il lavoro è stato ritirato. Non da un critico, non da un rivale, ma dagli autori stessi, dopo che un coautore ha provato a replicarlo e ha trovato incongruenze nei dati. Attenzione alla lezione, perché è facile trarne una sbagliata. La lezione non è "i modelli linguistici sono inutili nel leggere i bilanci". Le prove che abbiamo citato prima restano valide, nei loro termini. La lezione è che questo campo è giovane e rumoroso. Le conclusioni da titolo arrivano in fretta, vengono amplificate ancora più in fretta, e alcune vengono ritirate. E notate che cosa ha fatto scattare il ritiro: non un argomento brillante, ma il tentativo di rifare la cosa e ottenere lo stesso risultato. La riproducibilità: la stessa linea di faglia a cui torniamo di continuo. Una dimostrazione convince perché è fluida ed è unica; la vedi funzionare una volta. Un cancello di validazione convince perché sopravvive alla ripetizione, su dati che il modello non ha mai visto, per mano di chi vorrebbe vederlo fallire. È esattamente per questo che la nostra disciplina è fidarsi del cancello e non della dimostrazione. Nelle prossime slide applicheremo quella disciplina proprio ai modelli linguistici stessi.
Dove gli LLM aiutano davvero — e dove no
Quindi siamo onesti, e siamo precisi. C'è un lavoro che un LLM — un large language model, un sistema addestrato a predire testo — fa davvero bene, e lì dobbiamo usarlo. È eccellente nel riassumere: dagli un documento di duecento pagine e in pochi secondi ti restituisce una sintesi fedele. Scrive e verifica codice, e trova l'errore di un'unità prima che tu lanci il backtest. Sa generare una feature di sentiment — un punteggio numerico di quanto un testo appaia positivo o negativo — che poi dai in pasto, come uno tra tanti input, a un modello addestrato. Ed è un assistente di ricerca instancabile e un avvocato del diavolo: chiedigli di argomentare contro la tua stessa tesi e troverà i punti deboli. Questi sono gli usi che le prove sostengono davvero. Ricordiamo che i lavori che abbiamo citato — Lopez-Lira e Tang nel 2023, e la ricerca successiva — hanno testato proprio questo: segnali di sentiment estratti da notizie e documenti, non l'allocazione in un colpo solo. Ora l'altra colonna. Ci sono cose che l'LLM non possiede — ancora. Non possiede la decisione di allocazione in sé: quanto peso dare a ciascun ETF. Non possiede l'ottimizzazione numerica del rischio, il passo che bilancia rendimento atteso, volatilità e correlazione. Non possiede il modello di tasse e costi, l'attrito che decide in silenzio se una strategia sopravvive all'urto con la realtà. E non possiede il verdetto walk-forward — il test su dati che il modello non ha mai visto durante l'addestramento, l'unico giudice onesto che abbiamo. La regola è semplice, ed è la spina dorsale di questa puntata: usa lo strumento per ciò in cui è davvero bravo, e tieni la decisione dentro il processo. L'LLM legge; la pipeline decide. Nella prossima slide rendiamo concreta questa divisione — perché il cancello che abbiamo costruito per i nostri modelli vale anche per il modello linguistico.
Il gate vale anche per gli LLM
Ecco quindi il punto che collega questa puntata a tutto ciò che abbiamo costruito prima nella serie. Abbiamo dedicato intere puntate a definire un'unica soglia, un unico cancello, che ogni strategia deve superare prima di affidarle denaro vero. Lo dico ancora una volta in modo chiaro. Una strategia passa solo se il suo alfa mediano — cioè il rendimento sopra un parametro di riferimento, preso al centro di molte prove, non nel caso più fortunato — resta positivo su tutte e tre le finestre: quella di addestramento, quella di test e quella di validazione. E deve restare positivo dopo aver tolto il 26 per cento di tassa italiana sui guadagni finanziari. E anche allora deve battere due cose insieme: l'indice stesso e la regola gratuita più semplice che possiamo scrivere, come pesi uguali mantenuti e ribilanciati. Questo è il cancello. Ora ecco la parte onesta. Al cancello non interessa quanto sia intelligente la fonte dell'idea. Non gli interessa se i pesi vengono da una rete addestrata, dal lancio di una moneta o da un modello linguistico di grandi dimensioni — un sistema che prevede la parola successiva a partire da schemi nel testo. Il cancello pone una sola domanda: il vantaggio sopravvive fuori campione? Ed è proprio qui che oggi un prompt di allocazione in un colpo solo fatica. Per il problema del guardare avanti che abbiamo visto — il modello che ha già visto in silenzio il futuro — e per la non determinatezza — lo stesso prompt che dà risposte diverse in giorni diversi — dimostrare in modo onesto che un'allocazione da LLM al momento supera questo cancello è oggi quasi impossibile. Non perché il modello sia stupido. Perché non riusciamo a misurare in modo pulito se il suo vantaggio è reale o ricordato. Quindi lo standard non si ammorbidisce davanti a una risposta scorrevole. Regge. Nella prossima slide mettiamo tutte le prove che abbiamo raccolto su un unico tavolo.
Le prove sul tavolo
Prima di chiudere, mettiamo sul tavolo tutte le fonti, perché niente di ciò che abbiamo detto stasera si regge sulla nostra opinione. Si regge su lavori pubblicati che potete leggere voi stessi. Quando abbiamo detto che un large language model — un LLM, un modello di testo addestrato a prevedere la parola successiva — sa davvero leggere un segnale dalle notizie, veniva da Lopez-Lira e Tang, 2023, che hanno misurato punteggi di sentiment dai titoli. Quando abbiamo messo in guardia sul look-ahead bias, cioè il modello che usa di nascosto informazioni che allora non poteva conoscere, era Glasserman e Lin, 2023, e l'effetto distrazione veniva da Ouyang e colleghi. Ricordiamo l'inquadramento onesto: questi lavori misurano segnali di sentiment da notizie e bilanci; non testano il chiedere al modello, in un solo colpo, i pesi di un portafoglio. Vi prego, non allargateli fino a "fidati del prompt di allocazione". Quel salto sta a noi evitarlo. Quando abbiamo detto che i modelli di dominio si addestrano, non si interrogano con un prompt, parlavamo di BloombergGPT, del team di Bloomberg, e del progetto aperto FinGPT. E il caso ammonitore — il paper che riportò risultati e poi fu ritirato — era Kim e colleghi. Lo citiamo non per deridere nessuno, ma perché un risultato ritirato è esattamente ciò che l'evidenza onesta fa quando si corregge. Due avvertenze sincere. Primo, i numeri che abbiamo citato sono stime, e dipendono dal singolo lavoro — dati diversi, finestre diverse, metodi di misura diversi. Trattateli come direzione, non come decimali. Secondo, li citiamo perché possiate verificarci, non perché ci crediate sulla parola. Leggete gli originali. Se abbiamo sbagliato qualcosa, ve lo diranno i paper prima di noi. È lo spirito di questa serie: la fluenza costa poco, la verifica no. Quindi, nell'ultima slide, diciamo con chiarezza a cosa porta tutto questo.
La fluidita' non e' una previsione
Portiamo a casa questo episodio. Per tutta la sera abbiamo cercato di essere onesti, quindi diciamo prima, in modo chiaro, la parte buona. Un grande modello linguistico, cioe' un sistema addestrato a prevedere la parola successiva su enormi quantita' di testo, e' davvero un potente lettore e scrittore di linguaggio. E' un ottimo assistente di ricerca. Riassume un bilancio, abbozza un'ipotesi, spiega un metodo e, come hanno mostrato gli studi che abbiamo visto, sa estrarre segnale reale da notizie e documenti societari. Come estrattore di caratteristiche, a monte di una pipeline disciplinata, si merita il suo posto. Su questo non ci sono dubbi, e non va sminuito.
Ma ecco l'unica frase da portare via da questa sala. Un'allocazione fluente e sicura di se' non e' una previsione. Quando scrivi "dammi un portafoglio" e il modello risponde con un paragrafo di pesi calmi e ben argomentati, ricorda cosa non sta facendo. Non sta ottimizzando alcun obiettivo di rischio, perche' non minimizza nessuna funzione di perdita sui rendimenti. Non puoi riprodurla due volte, perche' lo stesso prompt un altro giorno ti da' un'altra risposta. E il suo apparente storico e' contaminato dal look-ahead, cioe' dallo sguardare il futuro, perche' il modello ha letto il futuro mentre veniva addestrato. L'eloquenza non e' una prova. I tre difetti che abbiamo visto non sono errori da correggere: sono cio' che lo strumento e'.
Quindi il vantaggio non e' mai stato l'eloquenza del modello. Il vantaggio e' il processo disciplinato e verificabile attorno ad esso, lo stesso cancello che difendiamo dal primo episodio: tenere dati da parte, penalizzare il numero di tentativi, leggere il numero una volta sola, su una storia che la strategia non ha mai toccato. Usa il modello linguistico per cio' in cui e' davvero bravo, e lascia decidere l'allocazione al processo, non alla prosa.
Nel prossimo episodio poniamo una domanda diversa: la performance nei diversi regimi economici. Chi vince dove, e perche'.
