Renzo GUBERT – Chi è?

Nato a Primiero l’11 agosto 1944, primo di dieci figli, padre primierotto (Turra di Pieve la nonna) e madre “fiamaza” (Delmarco di Castello il nonno e Paluselli di Panchià la nonna), famiglia di piccoli contadini in affitto, con il padre che, per necessità, lascia il lavoro agricolo a moglie e figli e fa il manovale stagionale nell’edilizia.

Continua »

ricerca scientifica

Reticenze nell’ammettere di aver indebitamente accreditato l’attendibilità di un’indagine sulla religiosità

Lettera al direttore del giornale Trentino Alberto Faustini,
leggo sul Trentino del 24 gennaio la lettera da me inviatale quasi una ventina di giorni fa in merito a quanto il giornale da Lei diretto riportava, il 7 gennaio, con grande rilievo, dei risultati di un’indagine sulla religiosità in Italia condotta da Community Media Research e la ringrazio. Ho dubitato che intendesse pubblicarla, date le critiche che avanzavo.
Avrei la colpa di non conoscere (o di non voler conoscere, lei sospetta) il prof. Marini, direttore dell’agenzia di ricerca. Sul sito web dell’agenzia che dirige apprendo che è un professore associato a Padova, con multiforme attività di ricerca e come giornalista. Sarà a causa della mia avanzata età che mi porta a non partecipare che occasionalmente a convegni di sociologia dove si conoscono i colleghi, ma non sono uso a valutare i risultati di indagini dal nome di chi le dirige.

Altra colpa che mi addebita, quella di non essermi informato sul metodo seguito dalla ricerca di Community Media Resarch, pubblicato sul sito della stessa. Le sarei grato se mi fornisce l’indirizzo web giusto; su quello che ho trovato, intitolato proprio all’agenzia, ho trovato solo articoli di giornale. Del resto, a merito del Trentino, avevo notato che le notizie sul metodo erano state pubblicate in calce all’articolo sui risultati, cosa non fatta frequentemente.

Lei specifica, nella nota di commento alla mia lettera, il significato delle sigle sulle tecniche usate per le interviste, tutte fatte via mezzi elettronici. Mi fa rilevare che la tecnica CATI (intervista telefonica) è usata per ovviare ai difetti degli altri metodi via computer. Peccato che non garantisca la non selettività. Pensi a quante telefonate riceviamo quasi quotidianamente da persone non conosciute; il più delle volte non si risponde, infastiditi. E quanti non sono negli elenchi, o hanno solo un portatile? E del resto che le persone intervistate siano state poco più di un decimo delle persone contattate è la riprova più evidente dell’operare di fattori selettivi. Se si aggiunge, poi, la necessità di ponderare i risultati per rispettare delle quote, riproporzionamento reso necessario dal non rispetto della stratificazione della popolazione secondo alcuni caratteri, non resta che insistere sulla assenza di garanzie probabilistiche sulle rappresentatività del campione e sul margine di errore. Mi sarei atteso che almeno il numero di intervistati nel Trentino -Alto Adige, meglio se distinto per italiani e tedeschi, lo avesse scritto nella sua nota. Non si vuole renderlo noto? Che sia più alto che in altre indagini nulla toglie alla mia obiezione. Se il numero è molto basso, come del tutto probabile in un campione nazionale, presentare solo percentuali serve a ingannare il lettore; l’affidabilità di quelle percentuali è propria bassissima.

Da ultimo rispondo alla sua curiosità: come mai mi sono interessato solo a questa ricerca di Community Media Research, dato che il Trentino ha pubblicato anche i risultati di altre indagini. La risposta è la più semplice: mi occupo di valori, anche in serie indagini internazionali, da oltre quarant’anni e sono stato responsabile per l’Italia dell’European Values Study e del World Values Survey. Il valore che, in base ai dati, più di altri ha conseguenze su altri orientamenti di valore è la religiosità. L’agenzia di ricerca che Lei segue si occupa per lo più di argomenti che sono assai periferici per i miei interessi scientifici. Ovvia, quindi, l’attenzione ai risultati di una ricerca sulla religiosità, tanto più che presenta risultati come “rappresentativi” con stretto margine di errore. Purtroppo, invece, l’affidabilità di quella ricerca non è statisticamente controllabile. Per i gruppi di ricerca scientifica seria, come quello citato dell’EVS, vi è un team di metodologi della ricerca tra i più competenti in Europa e per massimizzare l’attendibilità dei risultati ha fatto seguire procedure adeguate (le più adeguate possibile) non quelle che costano meno.

Mi dispiace che abbia preso un po’ di traverso i miei rilievi. Le assicuro che li ho fatti “in scienza e coscienza”.

Malcostume di pubblicare risultati di sondaggi vantandone l’attendibilità scientifica

Al direttore de l’Adige Pierangelo Giovanetti,
Lei nell’editoriale di domenica 21 gennaio giustamente denuncia la lamentevole situazione della comunità trentina nel garantirsi buona capacità politica a livello nazionale nella scelta delle candidature al Parlamento. Vorrei dirle che le cose non vanno diversamente quanto ad attendibilità delle notizie che vengono diffuse su giornali e riviste in merito a risultati di ricerche cosiddette “scientifiche” in campo sociologico.
Sui giornali, anche locali, non è raro imbattersi in ampi spazi dedicati alla presentazione di risultati di indagini sociologiche, in particolare quando questi possono colpire l’attenzione dei lettori o confermerebbero dinamiche sociali gradite a direttori ed editori.
Quasi mai i giornali si fanno carico di rendere noti i metodi di ricerca impiegati (campioni e tecniche di somministrazione di questionari o interviste) e quando lo fanno perché chi ha fatto l’indagine vanta attendibilità dei dati, spesso proprio la metodologia impiegata dimostra esattamente il contrario, ossia l’inattendibilità dei risultati. Se lo si fa rilevare al direttore, questi ringrazia, ma non pubblica i rilievi critici.
Ho avuto modo di curare, in posizione di responsabilità per l’Italia, più rilevazioni novennali dell’indagine sui valori dell’European Values Study e una rilevazione del World Values Survey e sono venuto a diretto contatto con il mondo delle varie “agenzie di ricerca” che si offrono di eseguire rilevazioni per conto di committenti. Alcune si rifiutano di farle seguendo criteri di affidabilità scientifica e altre accettano di farlo, ma con costi assai più elevati del normale. I preventivi sono così alti che anche committenti scientifici (università, enti di ricerca) rinunciano talora all’attendibilità dei risultati.
L’attendibilità (sempre probabilistica), di una survey, studiata dalla metodologia della ricerca e dalla statistica inferenziale, si basa su requisiti di base senza i quali nulla possono dire tali discipline: la principale è la casualità con la quale si scelgono le persone da intervistare (o altre entità delle quali si studiano i caratteri, come ad es. i comuni). Anche se si parte da un campione rappresentativo, le procedure possono portare ad alterarla in modo irrimediabile. In un’indagine nazionale cui un quotidiano ha recentemente dedicato attenzione, per es. su 13.413 contatti con persone, solo 1561 sono andati a buon fine, ossia poco più del 10%. Non si dice se le oltre tredicimila persone contattate siano state scelte con criteri di casualità (se ne può dubitare), ma anche lo fossero, i fattori selettivi intervenuti, per cui solo una persona su 10 è stata poi inclusa nel campione, toglie agli intervistati qualsiasi rappresentatività controllabile scientificamente.
Nella stessa indagine, come in moltissime curate da agenzie di ricerca, si usano, poi, sistemi di intervista tramite mezzi elettronici (telefono, posta elettronica, altri metodi con uso di computer e smartphone), che già da soli implicano una netta selezione degli intervistati, privilegiando i più istruiti, i più giovani, i più reperibili. Altro metodo quello di andare per strada o di casa in casa scegliendo persone che si incontrano o che sono reperibili e disposte a spendere parte del proprio tempo per l’intervista. Si stabiliscono quote di persone da intervistare per sesso, età, forse istruzione, ma ciò non elimina la selettività delle persone. Si ponderano i risultati in modo da rimediare ad es. alle basse quote intervistate di alcune categorie di persone (per sesso, età, istruzione, cittadinanza), ma anche ciò non rimedia al fatto che le minori quote relative ad alcune categorie non siano rappresentative. Non è che, ad es, raddoppiando o triplicando il peso dei pochi anziani intervistati si considerino gli anziani che non hanno computer o smartphone, ma essi possono avere opinioni e situazioni diverse dagli altri. Non rappresentativi, quindi, i risultati e ridicolo calcolare margini massimi probabilistici di errore sulla base della scienza statistica.
Altro errore nascosto e non rilevato è il riportare dati di un’indagine nazionale, sezionandola per regione o per provincia. Si presentano percentuali, senza dire che al di sotto di certe numerosità e in carenza di rappresentatività regionale o provinciale, quei dati non sono affidabili. La buona rappresentatività, fosse anche garantita a livello nazionale, non lo è a livello infra-nazionale, salvo che le numerosità e i criteri di campionamento e di rilevazione non fossero stati previsti con tale scopo, fatto di solito non previsto per indagini nazionali per gli alti costi. E per il Trentino Alto Adige i subcampioni sono così piccoli da non consentire attendibilità alcuna. Eppure si pubblicano e se ne vanta l’attendibilità.
In periodo di frequente uso di indagini sulle preferenze elettorali, un’avvertenza in proposito ai lettori mi sembra utile. La sensibilità di agenzie di rilevazione agli interessi di chi le paga è più che possibile, e. come si sa, chi le paga sa che nella vita sociale operano meccanismi di “profezia che si autoadempie”.

Il malcostume di dire “rappresentative della popolazione” indagini che non lo sono- l’esempio di un’indagine sulla religiosità pubblicata dal Trentino

Al Direttore del “Trentino” Alberto Faustini,
mi scuserà se già in altre occasioni mi sono sentito in dovere di ricorrere al sapere della mia professione di sociologo per ridimensionare quanto qualcuno riporta come dati “rappresentativi” dati che emergono da sondaggi che invece rappresentativi non sono. Mi pare un servizio ai lettori.
Sul Trentino di domenica 7 gennaio è dato ampio spazio ai risultati di una ricerca di Community Media Research (che non conosco) che dimostrerebbe l’affievolimento della dimensione del sacro, riportando dati sulle tre Venezie. A parte evidenti errori di impaginazione come nel caso della quota di cattolici nel Friuli-Venezia Giulia (scritta al 33,3%, invertendola con quella di coloro che dicono di non aver nessuna religione, 62,9%), ciò che preoccupa è che, grazie alla doverosa nota metodologica pubblicata in calce, mancano i minimi requisiti per qualificare i risultati come “rappresentativi” della popolazione italiana di maggiore età. La società Questlab, che ha curato la metodologia della ricerca, ha reso un cattivo servizio a Community Media Research. La questione fondamentale sta nel non aver assicurato nell’indagine la casualità nella scelta delle persone da contattare. E senza casualità non c’è modo di assicurare rappresentatività. Se su 13.413 contatti sono andati a buon fine 1.561, ossia poco più del 10%, è certo, che hanno operato fattori selettivi dei rispondenti veramente imponenti anche solo rispetto ai contattati. Ma neppure i contatti sono stati casuali, in quanto selezionati tra quelli che sono dotati di computer o altri metodi di contatto elettronico. Ma non tutti gli italiani sono dotati di computer e non tutti quelli dotati di computer sono in grado di interloquire su un questionario sottoposto. Basti pensare agli anziani, a coloro che hanno basso o bassissimo livello di istruzione o basso o bassissimo status occupazionale o a coloro che diffidano di intervistatori sconosciuti.
La doppia presenza di effetti selettivi non casuali delle persone contattate e tra esse di quelle intervistate, evidente a tutti, sarebbe stata rimediata, secondo la nota, dal “riproporzionamento” del campione intervistato in base ad alcuni caratteri (sesso, età, istruzione, professione, territorio), ma non basta dare più peso ad es, agli anziani intervistati per rimediare al fatto che quegli anziani intervistati non rappresentano l’insieme degli anziani. Il riproporzionamento dà l’illusione di ottenere dati affidabili, può contribuire ad ovviare ad alcune distorsioni, ma non rimedia affatto alle distorsioni provocate da effetti selettivi che hanno escluso dall’indagine determinate persone. Il dare più peso ai pochi anziani del campione, ad es., non elimina il fatto che tra gli anziani intervistati non vi siano coloro che non usano il computer per essere intervistati. Del tutta fasullo, quindi, il margine di errore del 2,5% dichiarato.
Si aggiunga un’altra considerazione: se su tutta Italia sono stati intervistate circa 1500 persone, quante sono quelle intervistate in Trentino-Alto Adige? Non basta presentare percentuali, se i valori assoluti di persone intervistate sono esigui. E il milione e poco più di abitanti della nostra regione non sono che un sessantesimo degli italiani, pari a circa 25 persone intervistate (magari solo ricostruite su una base ancora minore). Come si fa a presentare dati percentuali su basi assolute così esigue, senza nemmeno avvertire di ciò il lettore? E poi erano trentine o altoatesine, e queste italiane o del gruppo tedesco? Le varie realtà regionali differiscono molto in fatto di religiosità. Da oltre trent’anni seguo e curo le ricerche dell’European Values Study e pur avendo campioni nazionali anche più ampi, per presentare dati regionali di qualche senso, ho sempre provveduto ad aggregare tutte e tre le Tre Venezie.
A scusante di chi ha presentato i dati, posso solo dire che quanto fatto è quello che offre di norma il mercato delle agenzie che curano surveys, attente più a far soldi che a fornire dati attendibili, complice anche l’interesse dei committenti (non tutti) a credere di dire qualcosa sulla realtà a poco prezzo. Ma avendo Trento in casa un Dipartimento di Sociologia e Ricerca Sociale, potrebbe essere prudente avvalersi delle sue competenze scientifiche, quanto meno per avvertire e servire meglio i lettori.
NB Lettera non pubblicata finora dal “Trentino”

Top

Utilizzando il sito, accetti l'utilizzo dei cookie da parte nostra. maggiori informazioni

Questo sito utilizza i cookie per fornire la migliore esperienza di navigazione possibile. Continuando a utilizzare questo sito senza modificare le impostazioni dei cookie o cliccando su "Accetta" permetti il loro utilizzo.

Chiudi