Miti di omicidio e regressione multipla

Di Ted Goertzel

Università di Rutgers, Camden NJ 08102 

Pubblicato su The Skeptical Inquirer, volume 26, n. 1, gennaio / febbraio 2002, pp. 19-23. 
Traduzione spagnola come "El Modelo Econometrico Como Ciencia Basura", in Psicologia Politica, n. 24 (Valencia, Spagna). 

Se desideri una versione più lunga e più tecnica di questo documento, in formato Word, fai clic qui .

Credi che ogni volta che un prigioniero viene giustiziato negli Stati Uniti, otto futuri omicidi vengano scoraggiati? Credi che un aumento dell'1% del numero di cittadini autorizzati a portare armi nascoste causi una diminuzione del 3,3% del tasso di omicidi dello stato? Credi che il 10-20% del declino della criminalità negli anni '90 sia stato causato da un aumento degli aborti negli anni '70? O che il tasso di omicidi sarebbe aumentato del 250% dal 1974 se gli Stati Uniti non avessero costruito così tante nuove prigioni?

Se sei stato ingannato da uno di questi studi, potresti essere caduto in cerca di una forma perniciosa di scienza spazzatura: l'uso di modelli matematici senza capacità predittiva dimostrata per trarre conclusioni politiche. Questi studi sono superficialmente impressionanti. Scritti da noti scienziati sociali di prestigiose istituzioni, compaiono spesso su riviste scientifiche peer reviewed. Pieni di complessi calcoli statistici, forniscono precisi "fatti" numerici che possono essere usati come punti di discussione negli argomenti politici. Ma questi "fatti" sono volontà dei ciuffi. Prima che l'inchiostro sia asciutto su uno studio, un altro appare con "fatti" completamente diversi. Nonostante il loro aspetto scientifico, questi modelli non soddisfano il criterio fondamentale per un utile modello matematico: la capacità di fare previsioni migliori del caso casuale.

Sebbene gli economisti siano i principali professionisti di questa arte arcana, sociologi, criminologi e altri scienziati sociali ne hanno anche una versione. È noto con vari nomi, tra cui "modellizzazione econometrica", "modellazione di equazioni strutturali" e "analisi del percorso". Tutti questi sono modi di usare le correlazioni tra variabili per fare inferenze causali. Il problema con questo, come sa chiunque abbia avuto un corso di statistica, è che la correlazione non è causalità. Le correlazioni tra due variabili sono spesso "spurie" perché sono causate da una terza variabile. I modellatori econometrici cercano di superare questo problema includendo tutte le variabili rilevanti nelle loro analisi, usando una tecnica statistica chiamata "regressione multipla". Se avessimo avuto le misure perfette di tutte le variabili causali, ciò funzionerebbe. Ma i dati non sono mai abbastanza buoni. Gli sforzi ripetuti di utilizzare la regressione multipla per ottenere risposte definitive a domande di politica pubblica sono falliti.

Ma molti scienziati sociali sono riluttanti ad ammettere il fallimento. Hanno dedicato anni all'apprendimento e all'insegnamento della modellazione della regressione, e continuano a usare la regressione per rendere argomenti causali non giustificati dai loro dati. Chiamo questi argomenti i miti della regressione multipla, e mi piacerebbe usare quattro studi sui tassi di omicidio come esempi.

Mito uno: più pistole, meno crimine.

John Lott, un economista della Yale University, ha usato un modello econometrico per sostenere che "permettere ai cittadini di portare armi nascoste dissuade i crimini violenti, senza aumentare le morti accidentali". L'analisi di Lott implicava "emettere" leggi che richiedono alle autorità locali di rilasciare un permesso di armi nascoste a qualsiasi cittadino rispettoso della legge che ne faccia richiesta. Lott ha stimato che l'aumento di un punto percentuale della proprietà delle armi in una popolazione provoca una riduzione del 3,3% nei tassi di omicidio. Lott e il suo coautore, David Mustard, hanno pubblicato la prima versione del loro studio su Internet nel 1997 e decine di migliaia di persone lo hanno scaricato. Era il tema di forum politici, colonne di giornali e dibattiti spesso piuttosto sofisticati sul World Wide Web. In un libro dal titolo accattivante More Guns, Less Crime, Lott ha stuzzicato i suoi critici, accusandoli di anteporre l'ideologia alla scienza.

Il lavoro di Lott è un esempio di monovalutazione statistica. Ha più dati e un'analisi più complessa di chiunque altro studia l'argomento. Chiede che chiunque voglia sfidare i suoi argomenti si immerga in un dibattito statistico molto complesso, basato su calcoli tanto difficili da non poter essere fatti con normali computer desktop. Sfida chiunque non sia d'accordo con lui a scaricare il suo set di dati e rifare i suoi calcoli, ma la maggior parte degli scienziati sociali non pensa che valga la pena replicare gli studi usando metodi che hanno ripetutamente fallito. La maggior parte dei ricercatori sul controllo delle armi ha semplicemente spazzato via le affermazioni di Lott e Mustard e ha proseguito il proprio lavoro. Due ricercatori della giustizia criminale molto rispettati, Frank Zimring e Gordon Hawkins (1997) hanno scritto un articolo in cui spiegava che:

proprio come i signori Lott e Mustard possono, con un modello dei determinanti dell'omicidio, produrre residui statistici che suggeriscono che "emetteranno" leggi riducono l'omicidio, ci aspettiamo che un econometrico determinato possa produrre un trattamento degli stessi periodi storici con modelli diversi e effetti opposti. La modellizzazione econometrica è un'arma a doppio taglio nella sua capacità di facilitare scoperte statistiche per scaldare i cuori dei veri credenti di ogni banda.

Zimring e Hawkins avevano ragione. Nel giro di un anno, due econometrici determinati, Dan Black e Daniel Nagin (1998), hanno pubblicato uno studio che mostrava come se avessero modificato un po 'il modello statistico, o applicato a segmenti diversi dei dati, le scoperte di Lott e Mustard fossero scomparse. Black e Nagin hanno scoperto che quando la Florida è stata rimossa dal campione non c'è stato "nessun impatto rilevabile delle leggi sul diritto di trasportare sul tasso di omicidio e stupro". Hanno concluso che "l'inferenza basata sul modello di Lott e Mustard è inappropriata e che i loro risultati non possono essere utilizzati responsabilmente per formulare politiche pubbliche".

John Lott, tuttavia, contestò la loro analisi e continuò a promuovere la propria. Lott aveva raccolto dati per ciascuna delle contee americane per ogni anno dal 1977 al 1992. Il problema è che le contee americane variano enormemente in termini di dimensioni e caratteristiche sociali. Alcuni grandi, che contengono grandi città, rappresentano una percentuale molto ampia degli omicidi negli Stati Uniti. Come succede, nessuna di queste grandi contee ha "emesso" leggi sul controllo delle armi. Ciò significa che l'enorme set di dati di Lott era semplicemente inadatto al suo compito.Non ha avuto variazioni nella sua variabile causale chiave - "emetterà" leggi - nei luoghi in cui si sono verificati la maggior parte degli omicidi.

Non ha menzionato questa limitazione nel suo libro o nei suoi articoli. Quando ho scoperto la mancanza di "emettere" leggi nelle principali città nel mio stesso esame dei suoi dati, gli ho chiesto di parlarne. Lo scrollò di dosso, dicendo che aveva "controllato" per le dimensioni della popolazione nella sua analisi. Ma l'introduzione di un controllo statistico nell'analisi matematica non ha compensato il fatto che semplicemente non aveva dati per le principali città in cui il problema degli omicidi era più acuto.

Mi ci è voluto un po 'di tempo per trovare questo problema nei suoi dati, dal momento che non avevo familiarità con il problema del controllo delle armi. Ma Zimring e Hawkins si sono concentrati immediatamente su di esso perché sapevano che "emettere" leggi sono state istituite negli stati in cui la National Rifle Association era potente, in gran parte nel Sud, nell'Ovest e nelle regioni rurali. Questi erano stati che avevano già poche restrizioni sulle armi. Hanno osservato che questa storia legislativa frustra "la nostra capacità di confrontare le tendenze in" emetterà "stati con tendenze in altri stati, perché gli stati che hanno cambiato la legislazione sono diversi per posizione e costituzione rispetto agli stati che non lo hanno fatto, i confronti tra categorie legislative saranno sempre rischiare di confondere le influenze demografiche e regionali con l'impatto comportamentale dei diversi regimi giuridici ". Zimring e Hawkins hanno inoltre osservato che:

Lott e Mustard sono, ovviamente, consapevoli di questo problema. La loro soluzione, una tecnica econometrica standard, è quella di costruire un modello statistico che controllerà tutte le differenze tra Idaho e New York City che influenzano i tassi di omicidi e di criminalità, a parte le leggi "emettono". Se è possibile "specificare" le principali influenze su omicidio, stupro, furto e furto di auto nel nostro modello, allora possiamo eliminare l'influenza di questi fattori sulle diverse tendenze. Lott e Mustard costruiscono modelli che stimano gli effetti di dati demografici, dati economici e punizioni penali su vari reati. Questi modelli sono il massimo in fatto di home cooking statistico, in quanto creati per questi dati da questi autori e testati solo sui dati che verranno utilizzati nella valutazione degli impatti del diritto di carry.

Lott e Mustard stavano confrontando le tendenze in Idaho, West Virginia e Mississippi con le tendenze a Washington, DC e New York City. Ciò che accadde in realtà fu che ci fu un'esplosione di omicidi legati alle cricche nelle principali città orientali negli anni '80 e all'inizio degli anni '90.L'intera argomentazione di Lott si è conclusa con l'affermazione secondo cui gli stati in gran parte rurali e occidentali "emetteranno" sarebbero stati risparmiati dall'epidemia di omicidio legata alla cricca a causa delle leggi "emanate". Questo non sarebbe mai stato preso sul serio se non fosse stato oscurato da un labirinto di equazioni.

Mito Due: imprigionare più persone riduce il crimine

Il caso Lott e Mustard è stato eccezionale solo per la quantità di attenzione pubblica ricevuta. È abbastanza comune, anche tipico, che gli studi concorrenti vengano pubblicati utilizzando metodi econometrici per raggiungere conclusioni opposte sullo stesso problema. Spesso non c'è nulla di palesemente sbagliato in nessuna delle analisi. Semplicemente usano set di dati leggermente diversi o tecniche diverse per ottenere risultati diversi. Sembra che i modellatori della regressione possano ottenere qualsiasi risultato desiderato senza violare le regole dell'analisi di regressione in alcun modo. In una dichiarazione di frustrazione eccezionalmente sincera con questo stato di cose, due criminologi molto rispettati, Thomas Marvell e Carlisle Moody (1997: 221), hanno riferito sulla ricezione di uno studio che hanno fatto degli effetti della detenzione sui tassi di omicidio. Hanno riferito che loro:

ampiamente diffuso [i loro] risultati, insieme ai dati utilizzati, a colleghi specializzati in analisi quantitative. La risposta più frequente è che si rifiutano di credere ai risultati, non importa quanto sia buona l'analisi statistica. Dietro questa tesi c'è la nozione, spesso discussa in modo informale ma raramente pubblicata, secondo cui gli scienziati sociali possono ottenere qualsiasi risultato desiderato manipolando le procedure utilizzate. In effetti, l'ampia varietà di stime riguardanti l'impatto delle popolazioni carcerarie è considerata una buona prova della malleabilità della ricerca. L'implicazione, anche tra molti che pubblicano regolarmente studi quantitativi, è che non importa quanto siano approfondite le analisi, i risultati non sono credibili a meno che non siano conformi alle aspettative precedenti. Una disciplina di ricerca non può avere successo in tale quadro.

Per il loro grande merito, Marvell e Moody hanno francamente riconosciuto i problemi con una regressione multipla, e hanno suggerito alcuni miglioramenti. Sfortunatamente, alcuni econometrici sono così immersi nei loro modelli da perdere la cognizione di quanto siano arbitrari. Arrivano a credere che i loro modelli siano più reali, più validi, della realtà disordinata, recalcitrante, "incontrollata" che pretendono di spiegare.

Mito terzo: l'esecuzione della gente riduce il crimine

Nel 1975 l'American Economic Review pubblicò un articolo di un importante economista, Isaac Ehrlich dell'Università del Michigan, che stimò che ogni esecuzione scoraggiava otto omicidi. Prima di Ehrlich, lo specialista più noto sull'efficacia della pena capitale era Thorsten Sellen, che aveva usato un metodo di analisi molto più semplice. Grafici preparati da Sellen che confrontano le tendenze in diversi stati. Ha trovato poca o nessuna differenza tra gli stati con o senza la pena di morte, quindi ha concluso che la pena di morte non ha fatto differenza. Ehrlich, in un atto di superiorità statistica, affermò che la sua analisi era più valida perché controllava tutti i fattori che influenzano i tassi di omicidio.

Ancor prima che fosse pubblicato, il lavoro di Ehrlich è stato citato dal Procuratore Generale degli Stati Uniti in un brief amicus curiae depositato presso la Corte Suprema degli Stati Uniti in difesa della pena di morte. Fortunatamente, la Corte ha deciso di non fare affidamento sulle prove di Ehrlich perché non era stata confermata da altri ricercatori. Questo era saggio, perché nel giro di un anno o due altri ricercatori hanno pubblicato analisi econometriche altrettanto sofisticate che dimostrano che la pena di morte non ha avuto effetto deterrente.

La controversia sul lavoro di Ehrlich è stata così importante che il Consiglio Nazionale delle Ricerche ha convocato una giuria di esperti per esaminarla. Dopo una revisione molto approfondita, la giuria ha deciso che il problema non era solo il modello di Ehrlich, ma l'idea dell'uso di metodi econometrici per risolvere le controversie sulle politiche di giustizia criminale. Loro (Manski, 1978: 422) hanno concluso che:

poiché i dati che potrebbero essere disponibili per tale analisi hanno limitazioni e perché il comportamento criminale può essere così complesso, non dovrebbe essere previsto l'emergere di uno studio comportamentale definitivo che ponga tutte le polemiche sugli effetti comportamentali delle politiche di dissuasione.

La maggior parte degli esperti ora ritiene che Sellen avesse ragione, che la pena capitale non ha effetti dimostrabili sui tassi di omicidio. Ma Ehrlich non è stato persuaso. Ora è un vero credente solitario nella validità del suo modello. In una recente intervista (Bonner e Fessendren, 2000) ha insistito "se variazioni come la disoccupazione, la disuguaglianza dei redditi, la probabilità di apprensione e la volontà di usare la pena di morte sono prese in considerazione, la pena di morte mostra un significativo effetto deterrente".

Mito Quattro: l'aborto legalizzato causò la caduta del crimine negli anni '90.

Nel 1999, John Donohue e Steven Levitt pubblicarono uno studio con una nuova spiegazione del netto calo dei tassi di omicidi negli anni '90. Sostenevano che la legalizzazione dell'aborto da parte della Corte Suprema degli Stati Uniti nel 1973 causò una diminuzione della nascita di bambini indesiderati, un numero sproporzionato di coloro che sarebbero diventati criminali. Il problema con questo argomento è che la legalizzazione dell'aborto era un evento storico di una volta e gli eventi una tantum non forniscono dati sufficienti per un'analisi di regressione valida. È vero che l'aborto è stato legalizzato in precedenza in alcuni stati rispetto ad altri, e Donohue e Levitt fanno uso di questo fatto. Ma tutti questi stati stavano attraversando gli stessi processi storici, e molte altre cose stavano accadendo nello stesso periodo storico che comportava tassi di omicidi. Un'analisi di regressione valida dovrebbe catturare tutte queste cose e testarle sotto un'ampia gamma di variazioni. I dati esistenti non lo consentono, quindi i risultati di un'analisi di regressione varieranno a seconda dei dati selezionati per l'analisi.

In questo caso, Donohue e Levitt hanno scelto di concentrarsi sul cambiamento nell'arco di dodici anni, ignorando le fluttuazioni in quegli anni. Facendo ciò, come ha fatto notare James Fox (2000: 303), "hanno perso la maggior parte dei cambiamenti nel crimine durante questo periodo - la tendenza al rialzo durante la fine degli anni '80 e la correzione al ribasso negli anni post-crack. qualcosa come studiare gli effetti delle fasi lunari sulle maree dell'oceano ma solo registrare i dati per i periodi di bassa marea. "

Quando stavo scrivendo questo articolo, ho inserito una frase che dichiarava "presto un altro analista di regressione probabilmente rianalizzerà gli stessi dati e raggiungerà conclusioni diverse". Qualche giorno dopo, mia moglie mi ha consegnato una storia di un giornale su questo studio.L'autore era nientemeno che John Lott di Yale, insieme a John Whitley dell'Università di Adelaide. Hanno ridotto gli stessi numeri e hanno concluso che "legalizzare l'aborto ha aumentato i tassi di omicidi di circa lo 0,5-7%" (Lott and Whitely, 2001).

Perché risultati così nettamente diversi? Ogni insieme di autori selezionava semplicemente un modo diverso di modellare un corpo di dati inadeguato. L'econometria non può fare una legge generale valida dal fatto storico che l'aborto è stato legalizzato negli anni '70 e il crimine è andato giù negli anni '90. Avremmo bisogno di almeno una dozzina di tali esperienze storiche per un test statistico valido.

Conclusioni.

Il test dell'acido nella modellizzazione statistica è la previsione. La previsione non deve essere perfetta. Se un modello può predire significativamente meglio delle ipotesi casuali, è utile. Ad esempio, se un modello potrebbe prevedere i prezzi delle azioni anche leggermente meglio delle supposizioni casuali, renderebbe i suoi proprietari molto ricchi. Quindi è stato fatto un grande sforzo per testare e valutare i modelli dei prezzi delle azioni. Sfortunatamente, i ricercatori che usano tecniche econometriche per valutare le politiche sociali raramente sottopongono i loro modelli a test predittivi. La loro scusa è che ci vuole troppo tempo per conoscere i risultati. Non ricevi nuovi dati su povertà, aborto o omicidio ogni pochi minuti come fai con i prezzi delle azioni. Ma i ricercatori possono fare test predittivi in ​​altri modi. Possono sviluppare un modello utilizzando i dati di una giurisdizione o periodo di tempo, quindi utilizzarlo per prevedere i dati di altri tempi o luoghi. Ma la maggior parte dei ricercatori semplicemente non lo fa, o se fanno fallire i modelli e i risultati non vengono mai pubblicati.

Le riviste che pubblicano studi econometrici su questioni di politica pubblica spesso non richiedono test predittivi, il che dimostra che gli editori e i revisori hanno basse aspettative per i loro campi. Quindi i ricercatori prendono i dati per un determinato periodo di tempo e continuano a mettere a punto e adattare il loro modello fino a quando possono "spiegare" le tendenze che sono già accadute . Ci sono sempre diversi modi per farlo, e con i computer moderni non è difficile continuare a provare finché non trovi qualcosa che si adatta. A quel punto, il ricercatore si ferma, scrive i risultati e invia il foglio per la pubblicazione. Successivamente, un altro ricercatore può regolare il modello per ottenere un risultato diverso. Questo riempie le pagine di riviste accademiche, e tutti fanno finta di non notare che si sta facendo poco o nessun progresso. Ma non siamo più vicini ad avere un valido modello econometrico di tassi di omicidi oggi rispetto a quando Isaac Ehrlich pubblicò il primo modello nel 1975.

La comunità scientifica non ha buone procedure per riconoscere il fallimento di un metodo di ricerca ampiamente utilizzato. I metodi che sono trincerati nei programmi di laurea in importanti università e pubblicati su riviste prestigiose tendono ad essere perpetuati. Molti laici pensano che se uno studio è stato pubblicato su una rivista peer reviewed, è valido. I casi esaminati mostrano che non è sempre così. La peer review assicura che sono state seguite pratiche consolidate, ma è di scarso aiuto quando tali pratiche sono errate.

Nel 1991, David Freedman, illustre sociologo all'Università della California a Berkeley e autore di libri di testo su metodi di ricerca quantitativi, scosse le fondamenta della modellistica di regressione quando affermò francamente: "Non penso che la regressione possa portare gran parte del peso in un argomento causale, né le equazioni di regressione, da sole, danno molto aiuto nel controllare le variabili confondenti "(Freedman, 1991: 292). L'articolo di Freedman ha provocato una serie di reazioni forti. Richard Berk (1991: 315) ha osservato che l'argomentazione di Freedman "sarà molto difficile da accettare per la maggior parte dei sociologi quantitativi. Va al cuore della loro impresa empirica e, così facendo, mette a repentaglio intere carriere professionali".

Di fronte ai critici che vogliono dimostrare di poter prevedere le tendenze, i modellatori di regressione spesso ricadono sull'unicità statistica. Fanno argomentazioni così complesse che solo altri analisti di regressione altamente qualificati possono capire, per non parlare di smentirle. Spesso questa tecnica funziona. I potenziali critici si arrendono semplicemente per la frustrazione. David Boldt (1999) di Philadelphia Inquirer , dopo aver ascoltato John Lott parlare di armi nascoste e tassi di omicidi, e verificando con altri esperti, si è lamentato del fatto che "cercare di risolvere gli argomenti accademici è quasi una scusa. -statistiche, variabili fittizie e metodi di analisi dei dati 'Poisson' contro 'minimi quadrati'. "

Boldt aveva ragione a sospettare che fosse stato attirato nella missione di uno sciocco. Non ci sono, in effetti, risultati importanti in sociologia o criminologia che non possano essere comunicati a giornalisti e politici che non hanno lauree in econometria. È tempo di ammettere che l'imperatore non ha vestiti. Quando vengono presentati con un modello econometrico, i consumatori dovrebbero insistere sull'evidenza di poter prevedere le tendenze in dati diversi dai dati utilizzati per crearlo . I modelli che non superano questo test sono la scienza spazzatura, non importa quanto sia complessa l'analisi.

RIFERIMENTI

Berk, Richard.A. 1991. Verso una metodologia per semplici mortali, "Metodologia sociologica 21: 315-324. 
Boldt, David. 1999. " Prova di studio sulle armi " , Philadelphia Inquirer, 14 dicembre. Scaricato il 17 maggio 2000 da: http://www.phillynews.com/inquirer/99/Dec/14/opinion/BOLDT14.htm . 
Nero, Dan. e Daniel Nagin 1998. Le leggi sul diritto di trasportare scoraggiano il crimine violento? Journal of Legal Studies 27: 209-219. 
Bonner, Raymond e Ford Fessendren. 2000. Stati senza pena di morte condividono tassi di omicidio più bassi, "New York Times, 22 settembre. Scaricato da: http://www.nytimes.com/2000/09/22/national/22DEAT.html . 
Donohue, John e Steven Levitt. 1999. Abortion legalised and Crime. Stanford University Law School. Scaricato nel mese di agosto 2000 da: http://papers.ssrn.com/paper.taf?ABSTRACT_ID=174508 . 
Fox, James. 2000. Demografia e omicidio negli Stati Uniti, in A. Blumstein e J. Wallman (a cura di), The Crime Drop in America , Cambridge University Press, New York, pp. 288-317. 
Freedman, David 1991. Modelli statistici e scarpe in pelle. Metodologia sociologica 21: 291-313. 
Lott, John. 2000. Più pistole, meno criminalità: comprensione delle leggi sul crimine e sul controllo delle armi . Università di Chicago Press, seconda edizione con analisi aggiuntive. 
Lott, John. e John Whitley. 2001. Aborto e criminalità: bambini indesiderati e nascite fuori dal matrimonio, "Yale Law & Economics Research Paper No. 254. Scaricato il 9 luglio 2001 da: http://papers.ssrn.com/sol3/papers.cfm ? abstract_id = 270126 . 
Marvell, Thomas e Carlisle Moody, C. 1997. L'impatto della crescita carceraria sull'omicidio. Omicidi 1: 205-233. 
Zimring, Frank e Gordon Hawkins. 1997. Pistole nascoste: il deterrente contraffatto, The Responsive Community 7: 46-60.