L’intelligence, le scimmie e la sfera di cristallo

21 marzo 2016

superforecasting

di Matteo Faini

La prossima volta che dovete scegliere quali azioni comprare, anziché affidarvi ad un promotore finanziario potreste affidarvi ad una scimmia armata di freccette. Aprite la pagina dei mercati finanziari e comprate le azioni colpite dalle freccette della scimmia. Nel lungo periodo, secondo uno studio di Philip Tetlock di dieci anni fa le cui conclusioni sono ormai entrate nell’immaginario popolare, le decisioni casuali della scimmia saranno in media tanto accurate quanto quelle degli esperti.

Prima di licenziare il vostro promotore finanziario però, tenete a mente tre cose. In primis, gli esperti di politica o cose militari o altro non sono più precisi degli esperti finanziari quando cercano di fare previsioni di lungo periodo. In secondo luogo, l’incapacità degli esperti di far meglio delle previsioni casuali vale nel lungo periodo ma non nel breve. Insomma, se volete sapere quale azione sarà più redditizia nei prossimi 10 anni, affidatevi pure alla scimmia e alle sue freccette, ma se il vostro orizzonte temporale è più ristretto, ad esempio 3-6 mesi, vi conviene chiedere ad un promotore finanziario. Infine, alcune persone, quelle che nel suo ultimo libro[1] Tetlock chiama i Superforecasters, possiedono capacità previsionali eccezionali.

Gli esperti finanziari non sono gli unici a doversi preoccupare della competizione dei superforecasters da un lato e delle scimmie dall’altro. Gli analisti di intelligence sono ancor più chiamati in causa. L’ultimo libro di Tetlock si basa su un progetto dell’Intelligence Advanced Research Projects Activity (IARPA), l’organizzazione della comunità d’intelligence americana che si occupa di investire in programmi di ricerca ad alto rischio e ad alto potenziale. Circa cinque anni fa, Tetlock riuscì a convincere IARPA ad organizzare un torneo di previsioni. Cinque squadre messe in campo da alcuni dei più grandi esperti del settore si sono confrontate tra loro e con la comunità d’intelligence americana. Lo scopo del torneo era quello di identificare i fattori che rendono le previsioni più o meno accurate.

I partecipanti al torneo hanno risposto a migliaia di domande nell’arco di quattro anni, facendo previsioni su argomenti di ogni tipo, tutte aventi un orizzonte temporale di breve e medio periodo. Ad esempio, vi sarà un nuovo episodio di uccisioni di massa in Burundi prima del 1 gennaio 2017? Il Parlamento afgano confermerà un ministro della difesa prima del 1 luglio 2016? Il governo colombiano e le FARC firmeranno un accordo di pace prima del 1 maggio 2016?

I risultati sono stati sorprendenti. La squadra coordinata da Tetlock, detta il Good Judgment Project, ha costantemente battuto tutte le altre. Persino le previsioni dell’intelligence americana, pur essendo basate su informazioni classificate, sono state del 30% meno accurate di quelle dei previsori per hobby reclutati da Tetlock. Nonstante un budget di oltre $50 miliardi di dollari annui, l’intelligence americana non riesce a far meglio di un gruppo di amatori la cui unica ricompensa a fine anno è stata una gift card da $250 su Amazon.

Prima però di concludere che tanto vale chiudere CIA, NSA e tutte e 17 le agenzie d’intelligence americane, chiediamoci cosa renda speciali i previsori di Tetlock, quali siano i limiti dell’esperimento e, forse più importante, cosa possa imparare l’intelligence, non soltanto americana.

Alla fine del primo anno del torneo, Tetlock ha individuato i migliori previsori, detti superforecasters, e li ha messi in squadra insieme. Anno dopo anno, questi superforecasters hanno costantemente sbaragliato la concorrenza e la loro performance è ulteriormente migliorata una volta che si sono trovati uno a fianco all’altro. Questi risultati costantemente eccezionali non possono essere spiegati dalla fortuna. Cosa rende dunque i superforecasters così super?

I superforecasters sono in media più intelligenti dell’80% della popolazione, mentre il previsore medio reclutato da Tetlock è più intelligente del 70% della popolazione. I superforecasters sono sì intelligenti, ma non sono dei geni, e non è l’intelligenza che li separa nettamente dagli altri previsori. Non sono nemmeno persone che passano ore ed ore ad informarsi e a sfogliare giornali. Infine, pur avendo in genere un buon rapporto con la matematica e la statistica, raramente creano o utilizzano complicati algoritmi per prevedere il futuro. Ciò che li distingue è invece il modo di ragionare e di formulare una previsione.

I superforecasters partono dalla cosidetta outside view, ossia si chiedono quale sia la probabilità di base che un tipo di evento si verifichi. A quale classe di eventi appartiene quanto mi si chiede di prevedere? Con quale frequenza si verificano questi eventi?

Immaginatevi di dover prevedere se vi saranno cambi di regime in Bielorussia di qui a 12 mesi. In primis dovrete chiedervi quale sia la probabilità che in un dato anno si verifichino cambi al vertice nei Paesi autoritari classificabili come dittature personali. Diversi datasets ci danno risposte che variano dal 6,7% all’8,7% [2]. Prendiamo il punto mediano e stimiamo il 7,7% all’anno. Questo è il nostro punto di partenza.

Solo arrivati a questo punto i superforecasters passano all’inside view, analizzando il caso specifico. La Bielorussia è governata ininterrottamente da Alexander Lukashenko dal 1994. Non si sono mai verificati cambi al vertice. Tra le dittature personali, la Bielorussia sembra essere tra le più stabili. Possiamo dunque abbassare la nostra stima inziale, sia pur di poco. Considerando le tensioni geopolitiche nella regione, con la Bielorussia schiacciata tra le rinnovate ostilità tra Russia ed Occidente, una correzione ragionevole potrebbe essere attorno al 6%.

Fatta la previsione inziale, i Superforecasters l’aggiornano frequentemente, ma quasi sempre di poco alla volta, in base alle ultime informazioni disponibili. Se venissimo a conoscenza di malumori nelle forze armate nei confronti di Lukashenko o di qualche suo problema di salute, aumenteremmo notevolmente la previsione di una sua uscita di scena. Con il passar del tempo, se nessun segnale di instabilità si dovesse verificare, la nostra previsione dovrebbe aumentare progressivamente, fino a sfiorare il 100% il giorno prima della verifica della previsione stessa.

Nell’aggiornare le nostre previsioni, Tetlock sottolinea l’importanza di rovesciare la domanda iniziale per evitare di cadere in quello che gli psicologi cognitivi chiamano confirmation bias, ossia la nostra tendenza a cercare solo informazioni che confermino le nostre aspettative, ignorando quelle contrarie. Chiedendoci se tra un anno Lukashenko avrà perso il potere ci concentreremo sugli indicatori di instabilità. Chiedendoci se tra un anno Lukashenko sarà ancora al potere ci concentreremo sugli indicatori di stabilità. Nonostante le due domande siano logicamente equivalenti, ponendocele entrambe riduciamo la nostra tendenza a dare maggior peso alle informazioni che confermano le nostre credenze rispetto a quelle che le mettono in dubbio.

Il metodo utilizzato dai superforecasters è all’apparenza piuttosto semplice, ma nasconde tutta una serie di difficoltà che lo rendono più un’arte che non una scienza e che ne limitano l’applicabilità all’interno di un’agenzia di intelligence. In primo luogo, spesso non è chiaro a quale classe di fenomeni appartenga l’evento che dobbiamo prevedere. Prendiamo sempre l’esempio di Lukashenko: se anziché il capo di un regime personale lo ritenessimo il capo di un regime militare, scelta plausibile visto che Lukashenko è comandante in capo delle forze amate bielorusse e non disdegna di farsi vedere in uniforme, la probabilità di base di una sua caduta più che raddoppierebbe, fino al 18% circa[3]. Le stime variano dunque significativamente a seconda del modo in cui classifichiamo un fenomeno, ma nel fare questa classificazione c’è un ineludibile elemento di arbitrarietà.

In secondo luogo, gli analisti di intelligence si trovano spesso a dover prevedere eventi per i quali non è possibile formulare una stima della probabilità di base. Tetlock stesso ammette la difficoltà a prevedere eventi estremamente rari, i cosiddetti cigni neri, ma si difende dicendo che nessun evento è davvero unico e che, proprio perché rari, questi cigni neri non inficeranno la nostra capacità di arrivare a previsioni corrette nella maggior parte dei casi. Tuttavia, l’importanza di questi eventi rende impossibile ignorarli. Ad esempio, il Trattato di Schengen sarà ancora in vigore di qui a due anni? Potremmo confrontare Schengen con altri accordi internazionali sulla libera circolazione, ma il numero è talmente esiguo da rendere pressoché impossibile arrivare ad una stima della probabilità di base.

In terzo luogo, Tetlock non spiega come facciano i Superforecasters a districarsi tra indicatori spesso di dubbia affidabilità e potenzialmente contrastanti. Ad esempio, un aumento delle politiche repressive da parte del governo bielorusso è un segno di forza o di debolezza? L’assenza di proteste popolari su larga scala indica una maggiore popolarità del governo di Lukashenko o soltanto una maggiore efficienza del suo apparato repressivo?

Tetlock si districa tra queste difficoltà offrendoci un decalogo del superforecaster, i cui contenuti però sono spesso vaghi. Tetlock ci consiglia, ad esempio, di «trovare il giusto equilibrio tra inside e outside view» e di fare lo stesso tra «aggiustare troppo e aggiustare troppo poco le nostre previsioni in base a nuove evidenze», ma non precisa quali siano questi equilibri. Le sue istruzioni non equivalgono ad un metodo scientifico, sia pur dai risultati incerti, bensì ad una descrizione dell’arte della previsione, in cui molto è lasciato all’intuizione del previsore.

Infine, alcuni dei problemi fronteggiati dall’intelligence non sono replicabili nel contesto dei previsori per hobby reclutati da Tetlock. Le previsioni dell’intelligence non sono fine a sé stesse, ma vogliono consentire ai decisori politici di meglio cogliere le opportunità e meglio sfuggire ai pericoli presenti nel panorama domestico ed internazionale. Le previsioni più efficaci dell’intelligence sono dunque quelle che modificano gli eventi futuri, spesso a discapito dell’accuratezza della previsione stessa ma tutto a vantaggio della sicurezza nazionale. Inoltre, le agenzie di intelligence, al contrario dei forecasters di Tetlock, fronteggiano quotidianamente nemici che fanno di tutto per trarle in inganno e per farle arrivare a previsioni errate.

I risultati, tuttavia, parlano chiaro. Per quanto vaghe possano sembrare alcune delle istruzioni di Tetlock, i forecasters del suo Good Judgment Project hanno ottenuto risultati eccezionali. Le agenzie d’intelligence sbaglierebbero a non trarne almeno tre lezioni.

In primis, nel selezionare gli analisti le agenzie di intelligence dovrebbero tenere a mente il profilo dei superforecasters. I previsori migliori non avranno una spiegazione del mondo onnicomprensiva o, peggio ancora, ideologica o teleologica. Crederanno invece che il mondo è un posto complicato, pieno di incertezze e di forze causali contrastanti. Saranno a loro agio con l’idea di probabilità e con la costante verifica delle proprie credenze e la vedranno come un modo per migliorarsi di continuo. Sapranno accogliere argomenti contrastanti e saranno consapevoli dei propri limiti e dei propri ineludibili bias psicologici.

In secondo luogo, le agenzie di intelligence farebbero bene a verificare sistematicamente l’accuratezza delle proprie previsioni. Solo così gli analisti potranno ottenere quel feedback continuo necessario a migliorarsi. Tuttavia, l’esercizio è più difficile di quanto possa sembrare a prima vista. Dato l’effetto che la previsione stessa ha sugli eventi, non tutte le previsioni inaccurate sono frutto di un errore. Ancor più, una stima probabilistica non può essere verificata o falsificata in base ad un evento singolo (se vi dico che oggi c’è l’80% di probabilità di pioggia e non piove, la mia previsione non era necessariamente sbagliata). Le agenzie di intelligence dovranno dunque raccogliere un gran numero di previsioni da parte di ogni analista o gruppo di analisti prima di poterne verificare l’accuratezza.

Infine, l’intelligence farà bene a chiarire il proprio ruolo nel rapporto con il decisore politico. Non si diventa leader politici di successo mostrando incertezza e dicendo che il mondo è un posto complicato, pieno di contraddizioni e difficile da prevedere. Per vincere un’elezione bisogna sembrare sicuri di sé, offrire una spiegazione semplice e chiara di come va il mondo e di come cambierà in meglio una volta fatto quanto si è promesso di fare. Una volta al potere, però, a questi leader politici sarà bene affiancare qualcuno che sappia sollevare dei dubbi, che sappia considerare le informazioni che contrastano con quanto siamo inclini a credere e che cerchi di capire perché il mondo continui a sfuggire alle nostre previsioni. Seguendo Tetlock queste previsioni saranno meno imprecise e l’intelligence potrà meglio compiere il suo compito ingrato.

[1] P. Tetlock – D. Gardner, Superforecasting: The Art and Science of Prediction, Crown Pub, 2015

[2] Geddes et. al., Autocratic Breakdown and Regime Transitions: A New Data Set, in «Perspectives on Politics», Vol.12, No.2, 2014, pp.313-331.

[3] Geddes et al., Autocratic Breakdown and Regime Transitions, cit.

L’autore

Matteo Faini ha recentemente completato un PhD in Politics all’Università di Princeton, con una tesi sui rapporti tra agenzie di intelligence e decisori politici. È research fellow nell’International Security Program al New America e Lecturer in Politics all’Università di Venezia, Ca’ Foscari. È autore, tra gli altri, di The US Government and the Italian Coup Manqué of 1964: The Unintended Consequences of Intelligence Hierarchies (di prossima pubblicazione in Intelligence and National Security).
Per il nostro sito ha scritto anche Capire le intenzioni del nemicoMachiavelli analista di intelligenceSherman Kent e il ruolo dell’intelligence nel processo di policy e “Lo sai tenere un segreto?”.

Tag:

Categoria: Letture

Su