Benvolguts,
Aquest matí hem
publicat un apunt parlant del Periódico i de les enquestes. Aquí hi ha un genial
article d’en Pere Cardús, explicant
com funciona això de les enquestes, com
es poden “cuinar”, com es poden preparar per ensarronar el personal i fer-los dir el
que tu vulguis i també fer-los dir el contrari!
Hi ha un exemple semblant
a: 19/08/13.
* El botifler i jaqueter Millo i l'existència de Déu (o no). Us el recomano
fortament!
Ara vegeu l’article d’en
Pere Cardús i si us vaga aneu a l’enllaç
de més amunt i vegeu-ne un cas pràctic de la també genial sèrie britànica “Sí ministre”!
19.02.2015 06:00
Autor/s: Pere
Cardús i Cardellach
Deu consells per a no caure en el
parany de les enquestes
Informe per a
entendre com es fan els sondatges electorals i d'opinió i què cal tenir en
compte a l'hora de llegir-los
'Les enquestes no es fan per reflectir
l'opinió, sinó per condicionar-la', deia Francesc Ribera 'Titot' a Twitter quan es va publicar la primera
després del 9-N. Els resultats d'aquella enquesta
eren difícils d'interpretar perquè, després del clímax independentista de la
consulta, el suport a la independència i als partits sobiranistes semblava
declinar. Els sondatges d'opinió política sempre van envoltats de dubtes,
sospites i interpretacions interessades dels partits i els mitjans de
comunicació, que poden portar els ciutadans a enganys i paranys. Per això hem
volgut aclarir alguns aspectes que cal tenir en compte a l'hora
d'interpretar-les, amb dos experts en demoscòpia: Ivan Serrano (@aubachs), doctor en
ciències polítiques (UOC), i Marc Guinjoan (@mguinjoan), doctor en
ciències polítiques (UAB). Les seves reflexions ens han permès de confegir una
llista de consells que el lector pot tenir en compte a l'hora d'interpretar les
enquestes publicades.
Abans de començar, cal
fer algunes consideracions generals sobre els sondatges com a eines d'anàlisi
i, a la vegada, com a eines de propaganda. El sociòleg francès Patrick
Champagne, al llibre 'Faire l'opinion. Le nouveau jeu politique', denuncia la
confusió entre ciència i política, que fa que un instrument de mesurament
científic aparegui com l'expressió d'una voluntat democràtica, sense ser-ho.
Això, alhora, porta la política a justificar la seva acció amb el recurs a la
ciència dels sondatges. Ivan Serrano afegeix que a les enquestes els preguntem
coses que no ens poden respondre. És a dir, que volem fer-les parlar més del
compte. Per aquest motiu, cal tenir algunes prevencions quan llegim
informacions sobre resultats de sondatges. Us oferim deu consells:
Qui la fa, qui l'encarrega i qui la publica
En principi, qui encarrega una enquesta ho fa per saber què pensen els ciutadans d'unes determinades qüestions. Per tant, és lògic de pensar que no se cerca un resultat enganyós per a justificar determinades decisions o voluntats. Però entre les dades originals d'una enquesta i els resultats projectats als mitjans de comunicació hi pot haver una adaptació interpretativa deliberada. Per això, quan tinguem davant una informació sobre un sondatge, primer de tot hem de preguntar qui l'ha fet, qui l'ha encarregat i qui publica la informació. Les enquestes les poden fer empreses especialitzades, instituts vinculats al món acadèmic i universitari, o organismes públics. Els estudis d'opinió política els acostumen a encarregar els governs, els partits i mitjans de comunicació.
Condicionants ambientals i proximitat electoral
La segona pregunta que cal fer-se és quan s'ha fet el treball de camp (les entrevistes als ciutadans). Cada moment té les seves implicacions en la justificació de les respostes dels enquestats. Els ciutadans formem la nostra opinió segons les experiències que tenim i les informacions que consumim. I aquesta opinió evoluciona, no és permanent ni definitiva. Per tant, si es fa una enquesta sobre seguretat i política policíaca dos dies després d'un gran atemptat, cal saber que el resultat reflectirà un estat d'opinió molt concret i influït per la conjuntura. I serà un error de pensar que el resultat de l'enquesta reflecteix l'opinió estable o habitual de la població sobre la qüestió. En el cas d'un sondatge electoral, la proximitat de les eleccions és un factor determinant per a la qualitat de la predicció. Com més lluny siguin les eleccions, menys definida té el ciutadà la seva opció de vot. Per això també paga la pena de mirar sempre la data del treball de camp.
La tècnica
Els sondatges es fan principalment per tres mètodes: entrevistes presencials, telefòniques i telemàtiques. Cada tècnica té virtuts i defectes i funcionen millor segons els temaris i les poblacions consultades. Per posar un exemple molt gràfic, les enquestes telefòniques funcionen millor a Còrsega que no pas les presencials. Els experts expliquen que la població de territoris on hi ha hagut conflictes oberts no vol ser vista responent preguntes al carrer. Les entrevistes presencials són més cares, però encara són les més fiables, perquè l'enquestat no es veu tant amb cor de mentir. El sistema telemàtic té dificultats afegides als altres dos. Per exemple, no és un bon mètode per a trobar la mostra correcta que sigui un tast fidel dels perfils socials definits (l'estratificació). Segons els experts, l'ordre de fiabilitat d'aquestes tres tècniques són: presencial, telefònica i telemàtica.
Quines preguntes i amb quin ordre
Dues enquestes fetes al mateix moment i sobre la mateixa població poden donar resultats oposats sobre una mateixa qüestió. Això passa perquè les preguntes es poden fer de moltes maneres. Segons la teoria, una bona pregunta és aquella que no condiciona la resposta. Però els qüestionaris poden contenir preguntes tendencioses segons l'objectiu de qui l'ha preparat. A més, en la resposta també influeix l'ordre de les preguntes. Unes preguntes i respostes poden condicionar les següents perquè l'entrevistat mira de crear un discurs coherent sobre la marxa, encara que el seu pensament original no ho sigui. També hi ha un altre factor que hi influeix segons l'ordre de les preguntes: el cansament de l'enquestat. Si sempre es posen les mateixes preguntes al final i l'entrevista dura 20 minuts, és lògic que l'atenció de l'individu sigui molt inferior a la que havia dedicat a les preguntes del principi.
La famosa sèrie de la BBC 'Sí, ministre' va dedicar una escena a la capacitat d'orientar les respostes amb el to, la forma i l'ordre de les preguntes. Vegeu-la a continuació:
Qui la fa, qui l'encarrega i qui la publica
En principi, qui encarrega una enquesta ho fa per saber què pensen els ciutadans d'unes determinades qüestions. Per tant, és lògic de pensar que no se cerca un resultat enganyós per a justificar determinades decisions o voluntats. Però entre les dades originals d'una enquesta i els resultats projectats als mitjans de comunicació hi pot haver una adaptació interpretativa deliberada. Per això, quan tinguem davant una informació sobre un sondatge, primer de tot hem de preguntar qui l'ha fet, qui l'ha encarregat i qui publica la informació. Les enquestes les poden fer empreses especialitzades, instituts vinculats al món acadèmic i universitari, o organismes públics. Els estudis d'opinió política els acostumen a encarregar els governs, els partits i mitjans de comunicació.
Condicionants ambientals i proximitat electoral
La segona pregunta que cal fer-se és quan s'ha fet el treball de camp (les entrevistes als ciutadans). Cada moment té les seves implicacions en la justificació de les respostes dels enquestats. Els ciutadans formem la nostra opinió segons les experiències que tenim i les informacions que consumim. I aquesta opinió evoluciona, no és permanent ni definitiva. Per tant, si es fa una enquesta sobre seguretat i política policíaca dos dies després d'un gran atemptat, cal saber que el resultat reflectirà un estat d'opinió molt concret i influït per la conjuntura. I serà un error de pensar que el resultat de l'enquesta reflecteix l'opinió estable o habitual de la població sobre la qüestió. En el cas d'un sondatge electoral, la proximitat de les eleccions és un factor determinant per a la qualitat de la predicció. Com més lluny siguin les eleccions, menys definida té el ciutadà la seva opció de vot. Per això també paga la pena de mirar sempre la data del treball de camp.
La tècnica
Els sondatges es fan principalment per tres mètodes: entrevistes presencials, telefòniques i telemàtiques. Cada tècnica té virtuts i defectes i funcionen millor segons els temaris i les poblacions consultades. Per posar un exemple molt gràfic, les enquestes telefòniques funcionen millor a Còrsega que no pas les presencials. Els experts expliquen que la població de territoris on hi ha hagut conflictes oberts no vol ser vista responent preguntes al carrer. Les entrevistes presencials són més cares, però encara són les més fiables, perquè l'enquestat no es veu tant amb cor de mentir. El sistema telemàtic té dificultats afegides als altres dos. Per exemple, no és un bon mètode per a trobar la mostra correcta que sigui un tast fidel dels perfils socials definits (l'estratificació). Segons els experts, l'ordre de fiabilitat d'aquestes tres tècniques són: presencial, telefònica i telemàtica.
Quines preguntes i amb quin ordre
Dues enquestes fetes al mateix moment i sobre la mateixa població poden donar resultats oposats sobre una mateixa qüestió. Això passa perquè les preguntes es poden fer de moltes maneres. Segons la teoria, una bona pregunta és aquella que no condiciona la resposta. Però els qüestionaris poden contenir preguntes tendencioses segons l'objectiu de qui l'ha preparat. A més, en la resposta també influeix l'ordre de les preguntes. Unes preguntes i respostes poden condicionar les següents perquè l'entrevistat mira de crear un discurs coherent sobre la marxa, encara que el seu pensament original no ho sigui. També hi ha un altre factor que hi influeix segons l'ordre de les preguntes: el cansament de l'enquestat. Si sempre es posen les mateixes preguntes al final i l'entrevista dura 20 minuts, és lògic que l'atenció de l'individu sigui molt inferior a la que havia dedicat a les preguntes del principi.
La famosa sèrie de la BBC 'Sí, ministre' va dedicar una escena a la capacitat d'orientar les respostes amb el to, la forma i l'ordre de les preguntes. Vegeu-la a continuació:
Volum de la mostra
La qualitat d'un sondatge també va molt lligada al volum de la mostra (quantitat d'entrevistes vàlides fetes). Les enquestes que es publiquen habitualment al nostre país tenen una mostra que oscil·la entre 800 enquestats i 2.000. Com més entrevistats, més fiable és el resultat. El problema de les enquestes amb mostres petites és que no permeten els encreuaments de subgrups amb prou garanties. És a dir, les enquestes amb una mostra de 800 individus deixen veure tendències a grans trets, però no ajuden a segmentar i analitzar comportaments més detallats perquè la mostra resultant no és prou fiable. A més, en el cas de sondatges electorals es fa molt difícil de fer projeccions de diputats perquè s'ha de forçar massa la cuina.
Pressupost
És evident que com més recursos hi ha, més bona feina es pot fer, si n'hi ha voluntat. Com ja hem dit, fer entrevistes presencials és més car que no pas amb mètodes no tan fiables. Com més entrevistes es vulguin fer, també s'han d'esmerçar més recursos en el treball de camp. I si l'enquesta vol incorporar preguntes pensades per a detectar possibles incoherències i descartar entrevistats poc fiables, també cal més temps, perquè les entrevistes es fan més llargues. Finalment, si hi ha recursos i no s'ha de tancar el període del treball de camp en un temps massa breu, un equip es pot dedicar a cercar els perfils socials més difícils de trobar. Tot plegat fa que el resultat sigui millor.
Escenaris volàtils i nous actors
Les enquestes són eines que poden pronosticar resultats amb més precisió en moments d'estabilitat política, social i econòmica, que no pas en moments de convulsió. Els condicionants ambientals fan perillar la validesa de l'enquesta si canvien a gran velocitat. Tothom deu recordar que els resultats de les enquestes fetes abans de les eleccions al Parlament de Catalunya del novembre de 2012 van quedar molt allunyades del resultat final. Catalunya havia iniciat un camí que revolucionava els fonaments del comportament polític i electoral fins aleshores. Era molt difícil d'encertar les projeccions de resultats perquè els criteris establerts per a fer ponderacions i correccions de la intenció de vot directe ja no servien.
Aquesta dificultat de fer bons pronòstics en escenaris volàtils també s'estén als pronòstics per a nous actors del mapa electoral. Les projeccions es fan amb càlculs aplicats al record de vot i a les tendències establertes en eleccions passades. Fer projeccions de vot de formacions noves és un exercici que requereix molta creativitat i que s'ha de posar en quarantena.
Els calaixos de sastre
Un altre exercici que cal fer quan rebem resultats d'una enquesta és vigilar els calaixos de sastre. La voluntat de donar resultats enlluernadors fa que sovint es posin enquestats molt poc homogenis en un sol grup per donar-li joc. Això passa sovint amb mitjans de comunicació, que agrupen els vots en blanc, l'abstenció i els indecisos, per exemple. I és evident que aquests tres col·lectius no tenen res a veure. Tant com sigui possible, cal mirar de desgranar grups que se'ns presenten amb formes difuses com 'altres', perquè hi va a parar tot allò que fa nosa. En el cas de les enquestes sobre el suport a la independència, això ha passat amb el grup anomenat 'indecisos', que en algunes ocasions ha enclòs abstencionistes, votants en blanc i gent que no volia respondre —i potser tenia molt clar el sentit del seu vot. El consell és observar de prop els calaixos de sastre perquè poden amagar dades interessants.
L'impacte de la correcció política
Un factor que no ens pot passar per alt a l'hora de valorar el resultat d'un sondatge és l'efecte que els experts anomenen 'desitjabilitat social'. És la correcció de pensament que fan alguns individus segons què creuen que s'espera que pensin. Per exemple, quan es pregunta si es va votar a les últimes eleccions, el nivell de participació que surt a les enquestes és molt més alt que no el que hi hagué realment. Perquè votar és benvist. És una qüestió de correcció política. També passa amb preguntes sobre el racisme o el masclisme, per exemple. Molts individus modulen les respostes segons què considerin que és correcte de pensar.
La cuina
Aquesta és la mare dels ous de les enquestes. Quan es fan projeccions o atribucions de resultats o de diputats, s'apliquen un seguit de correccions i ponderacions a la intenció de vot declarada pels enquestats. La cuina té molts ingredients i cada empresa, institut o organisme fa servir les seves receptes. Això sí que no és cap ciència exacta. És a dir, que en aquest procés hi ha un grau d'interpretació molt elevat, amb un marge de maniobra molt gran i sense pauta comuna. A més, els càlculs de la cuina no es fan públics juntament amb els resultats de l'enquesta i són molt difícils de valorar. El millor consell en cas d'una enquesta és comparar sempre la projecció de vot i resultats amb les taules d'intenció de vot directe. I que cadascú en tregui les conclusions que consideri oportunes.
La qualitat d'un sondatge també va molt lligada al volum de la mostra (quantitat d'entrevistes vàlides fetes). Les enquestes que es publiquen habitualment al nostre país tenen una mostra que oscil·la entre 800 enquestats i 2.000. Com més entrevistats, més fiable és el resultat. El problema de les enquestes amb mostres petites és que no permeten els encreuaments de subgrups amb prou garanties. És a dir, les enquestes amb una mostra de 800 individus deixen veure tendències a grans trets, però no ajuden a segmentar i analitzar comportaments més detallats perquè la mostra resultant no és prou fiable. A més, en el cas de sondatges electorals es fa molt difícil de fer projeccions de diputats perquè s'ha de forçar massa la cuina.
Pressupost
És evident que com més recursos hi ha, més bona feina es pot fer, si n'hi ha voluntat. Com ja hem dit, fer entrevistes presencials és més car que no pas amb mètodes no tan fiables. Com més entrevistes es vulguin fer, també s'han d'esmerçar més recursos en el treball de camp. I si l'enquesta vol incorporar preguntes pensades per a detectar possibles incoherències i descartar entrevistats poc fiables, també cal més temps, perquè les entrevistes es fan més llargues. Finalment, si hi ha recursos i no s'ha de tancar el període del treball de camp en un temps massa breu, un equip es pot dedicar a cercar els perfils socials més difícils de trobar. Tot plegat fa que el resultat sigui millor.
Escenaris volàtils i nous actors
Les enquestes són eines que poden pronosticar resultats amb més precisió en moments d'estabilitat política, social i econòmica, que no pas en moments de convulsió. Els condicionants ambientals fan perillar la validesa de l'enquesta si canvien a gran velocitat. Tothom deu recordar que els resultats de les enquestes fetes abans de les eleccions al Parlament de Catalunya del novembre de 2012 van quedar molt allunyades del resultat final. Catalunya havia iniciat un camí que revolucionava els fonaments del comportament polític i electoral fins aleshores. Era molt difícil d'encertar les projeccions de resultats perquè els criteris establerts per a fer ponderacions i correccions de la intenció de vot directe ja no servien.
Aquesta dificultat de fer bons pronòstics en escenaris volàtils també s'estén als pronòstics per a nous actors del mapa electoral. Les projeccions es fan amb càlculs aplicats al record de vot i a les tendències establertes en eleccions passades. Fer projeccions de vot de formacions noves és un exercici que requereix molta creativitat i que s'ha de posar en quarantena.
Els calaixos de sastre
Un altre exercici que cal fer quan rebem resultats d'una enquesta és vigilar els calaixos de sastre. La voluntat de donar resultats enlluernadors fa que sovint es posin enquestats molt poc homogenis en un sol grup per donar-li joc. Això passa sovint amb mitjans de comunicació, que agrupen els vots en blanc, l'abstenció i els indecisos, per exemple. I és evident que aquests tres col·lectius no tenen res a veure. Tant com sigui possible, cal mirar de desgranar grups que se'ns presenten amb formes difuses com 'altres', perquè hi va a parar tot allò que fa nosa. En el cas de les enquestes sobre el suport a la independència, això ha passat amb el grup anomenat 'indecisos', que en algunes ocasions ha enclòs abstencionistes, votants en blanc i gent que no volia respondre —i potser tenia molt clar el sentit del seu vot. El consell és observar de prop els calaixos de sastre perquè poden amagar dades interessants.
L'impacte de la correcció política
Un factor que no ens pot passar per alt a l'hora de valorar el resultat d'un sondatge és l'efecte que els experts anomenen 'desitjabilitat social'. És la correcció de pensament que fan alguns individus segons què creuen que s'espera que pensin. Per exemple, quan es pregunta si es va votar a les últimes eleccions, el nivell de participació que surt a les enquestes és molt més alt que no el que hi hagué realment. Perquè votar és benvist. És una qüestió de correcció política. També passa amb preguntes sobre el racisme o el masclisme, per exemple. Molts individus modulen les respostes segons què considerin que és correcte de pensar.
La cuina
Aquesta és la mare dels ous de les enquestes. Quan es fan projeccions o atribucions de resultats o de diputats, s'apliquen un seguit de correccions i ponderacions a la intenció de vot declarada pels enquestats. La cuina té molts ingredients i cada empresa, institut o organisme fa servir les seves receptes. Això sí que no és cap ciència exacta. És a dir, que en aquest procés hi ha un grau d'interpretació molt elevat, amb un marge de maniobra molt gran i sense pauta comuna. A més, els càlculs de la cuina no es fan públics juntament amb els resultats de l'enquesta i són molt difícils de valorar. El millor consell en cas d'una enquesta és comparar sempre la projecció de vot i resultats amb les taules d'intenció de vot directe. I que cadascú en tregui les conclusions que consideri oportunes.
Pere Cardús
Joan A. Forès
Reflexions
Cap comentari:
Publica un comentari a l'entrada