Nate Silver og forudsigelsesproblemet

Wall Street fylder altid med Holy Grails - de forudsigelser, strategier, hemmelige formler og geniale fortolkninger, der lover andre verdenskendskab og rigdom, hvis du bare tillid . De leveres oftest i investeringsverdenen gennem en sort kasse —Et lukket system, hvor input og output er kendt, men de interne analysefunktioner efterlades tophemmelige, kun for ypperstepræsternes forbrug. Black box positionering går dog langt ud over markederne. Det er ikke overraskende i en moderne sammenkoblet tidsalder, at når du tager en meget smart fyr, rækker computere, proprietære formler og kode, som kun den ene smarte fyr kan se, og derefter tilføjer en række succesrige prognoser , boom - du ender med en nørdet, lavet til social media-superstjerne, der pludselig laver forudsigelse cool for proletariatet.

Nate Silver er at fyr. Overveje:

• Han kaldte med succes resultaterne i 49 af de 50 stater i det amerikanske præsidentvalg i 2008.
• Han kaldte med succes resultaterne i 50 af de 50 stater i det amerikanske præsidentvalg i 2012.

Silver blev den go-to smart numbers fyr natten over. Han gik fra ekspert i baseballstatistik til ekspert i politisk statistik. Hans matematiske model til valg slog politiske journalister og kommentatorer i deres eget spil - det samme gælder hans Moneyball-for-politik-fortælling. I kort rækkefølge overgik hans tilhængere på Twitter 1 million, hans bog blev en bestseller, og FiveThirtyEight.com blev allestedsnærværende - endda med investeringsindsigt som, Bekymret for aktiemarkedet? Uanset hvad du gør, må du ikke sælge.

Alligevel for enhver, der fulgte præsidentvalget i 2016, ramte Silvers politiske forudsigelser muren. I løbet af 2016 offentliggjorde Silver daglige valgodds, der sprang rundt som en kat i brand - ikke overraskende, hvis din nye guru-status tvinger dig til at tilbyde prognoser hver dag i en valgcyklus i over et år.

Jeg erkender, at konsistens for os er bare dødelige en fristende - selv for højtuddannede og velhavende. En af mine medarbejdere, en dygtig forretningsmand, og jeg spiste frokost for et par år tilbage. Under vores samtale nævnte han, at han var fanget i et meget velkendt svindel med hedgefonde (ikke Madoff). Jeg spurgte ham, før han kunne forklare meget, om hans afkast var positiv hver måned. Han svarede: Hver måned. Senere googlede jeg ham og fandt ud af, at han faktisk havde mistet flere millioner dollars.

Dette ønske om sikkerhed og forudsigelse findes overalt i det moderne samfund for de opmærksomme. Sport også? Det kan du tro. Under et fodboldkamp mandag aften satte en af ​​annoncørerne, Ron Jaworski, tal og odds i perspektiv for at spille fodboldspillet: At spille kald handler om sandsynlighed, ikke sikkerhed.

Det lyder sådan let at fordøje. Men det er det ikke. Den manglende sikkerhed er så ofte en udløser for vores dybeste frygt. David Rock havde et fantastisk stykke i Psychology Today, der spikrede gaden:

Nogle dele af regnskab og rådgivning tjener deres penge ved at hjælpe ledere med at opleve en opfattelse af stigende sikkerhed gennem strategisk planlægning og 'prognoser'. Mens de finansielle markeder i 2008 endnu en gang viste, at fremtiden i sagens natur er usikker, er den ene ting, der er sikker, at folk vil betale mange penge for i det mindste at føle sig mindre usikre. Det er fordi usikkerhed føles for hjernen som en trussel mod dit liv.

Derfor blev Silver så populær - han eliminerede frygt - eller i det mindste det var fortællingen. Men selv fyren med alle numrene gik væk fra tallene. Han indrømmede i sin besværlige mea culpa, How I Acted Like a Pundit og skruede op på Donald Trump for ikke at bruge sine statistiske modeller på Donald Trumps kandidatur. Han brugte i stedet uddannede gæt, som sprængte hans statistiske model-lavet-mig-så-berømt-du-kan-nu-stole-jeg-er-ikke-en-typisk-ekspert-med-indbyggede-bias-historie ud af vandet. Værre endnu, den måde Silver havde lavet sin forudsigelser , han kunne i det væsentlige sige, at han havde ret, uanset hvad der skete. For Silvers tilhængere var hans 2016 afdækkede prognoser hans diskuteres matematik , betyder ikke noget:

Se på Nates rekord. Trump var en outlier.

Der var ikke nok historisk data.

Han får mest af dem rigtigt.

Nates vinderprocent er sådan høj.

Disse svage retorter illustrerer et defekt fundament i Silver's tilgang. Michael Mauboussin, en af ​​de store tænkere inden for beslutningstagning i lyset af usikkerhed, uddanner: Hvad der er slående er, at de førende tænkere på tværs af forskellige områder - herunder hestevæddemål, kasinospil og investering - understreger alle det samme punkt . Vi kalder det Babe Ruth-effekten: selvom Ruth slog meget ud, var han en af ​​baseballens største hitters.

Sagde en anden måde: Du vil tænke i form af forventet værdi. Alligevel er det ikke en værdifuld eller nyttig måde at tænke på et valg, hvor begge sider bogstaveligt talt forestiller sig liv og død. Men der er ingen sikkerhed, ingen garanti - nogensinde. Verden handler om overraskelse .

Og sølv udelader overraskelserne, det usædvanlige og uventede. Han har ingen måde at forudsige eller redegøre for dem. På Trumps sejr sagde Silver lige så meget: Det er den mest chokerende politiske udvikling i min levetid. Men ingen kan forudsige outliers, så hvis nogen som Silver foregiver at han kan - pas på. Spyros Makridakis viste i sit berømte papir fra 1979 Accuracy of Forecasting: An Empirical Investigation, at enkle slag var komplicerede, og at glidende gennemsnit slog snoede økonometriske rutiner. Ville glidende gennemsnit også have forudsagt de to valg, der gjorde Silver til et husstandsnavn?

Ikke desto mindre kommer Silver-forsvarere tilbage til 49 ud af 50 og 50 ud af 50 i 2008 og 2012 - bevis, siger de, når de ignorerer 2016. Men i 2008 og 2012, hvor stor en procentdel af dem var hårdt opkald? For eksempel er Californien blå uanset hvad. Så der er altid en enorm risiko i at stole på en strategi, der får de nemme opkald rigtigt og punts på de hårde.

Disse er ikke meget nye uoverensstemmelser at overveje. Den effektive markedsteori - den strategi, der kører verdens penge - har heller ingen løsning på overraskelse (dvs. sorte svaner). Sølv illustrerer simpelthen gåden på tværs af en anden disciplin, men med det samme presserende problem. I sommeren 2016 lancerede Nassim Taleb, faderen til det sorte svanekoncept, en detaljeret kritik af sølv i det offentlige rum: @FiveThirtyEight viser os en lærebogssag om, hvordan vi kan være helt ubesværet om sandsynlighed, men alligevel lave en forretning i det.

Det intellektuelle bur match: Nassim Taleb versus Nate Silver.

Vælg din side omhyggeligt. Det er liv eller død.

Michael Covel er forfatter til fem bøger: inklusive den internationale bestseller, Trend følger , og hans efterforskningsfortælling, Den komplette TurtleTrader . Michael er også stemmen bag Trend Following Radio, det underjordiske alternative hit, der har været så højt som nr. 2 på iTunes med 5 millioner lytter.