Artefactos estadísticos - Escribe Luis Casado

“Algo que los expertos saben, y que los no-expertos ignoran, es que la extensión de los
conocimientos de los expertos es más limitada que lo que piensan los no-expertos.”

Kaushik Basu, economista jefe del Banco Mundial.

Cada vez que tienen un candidato al alcance de la mano, los periodistas carentes de imaginación cacarean la misma pregunta: “¿Cuánto marca en las encuestas?” Las encuestas aparecen como criterio de la verdad absoluta, suelen ser el fundamento de las esperanzas de unos y de las decepciones de otros, la brújula de ciertas decisiones políticas y la recurrente muleta del periodismo obediente. Ahora bien… ¿Qué valen las encuestas?

El término artefacto designa un fenómeno creado por las condiciones experimentales, un efecto indeseable, un parásito. Se trata de un fenómeno, o señal artificial, cuya aparición está ligada al método utilizado en una experiencia, y que provoca un error de análisis. En metrología y en meteorología de radar, un artefacto es una señal aberrante ligada a las condiciones de la medida efectuada.

Las encuestas son un artefacto estadístico, y los sociólogos lo saben. Los matemáticos también. Lo que no le impide a unos y otros producir artefactos estadísticos a profusión, las más de las veces a título oneroso. A tal punto que el que paga la encuesta suele determinar el resultado ANTES de que se realice lo que apenas me atrevo a llamar “estudio”.

Si la economía es un terreno de predilección de las estadísticas, es decir de la deformación, la transformación y la transmutación de la realidad con fines políticos, la actividad política es una generosa fuente de ingresos para los institutos de estudios de opinión. Por eso abundan las encuestas y los encuestadores.

A priori, una encuesta busca determinar el estado de la opinión pública con relación a un candidato, a alguna propuesta programática, a un proyecto o a una idea. Para realizar la encuesta es preciso determinar el universo del cual se desea conocer las intenciones, o la opinión. En el caso de las encuestas presidenciales, la población cuya opinión se desea sondear son los más de doce millones de electores que, potencialmente, ejercerán su derecho a voto.

Por razones de costo, la encuesta concierne una “muestra” que reúne un reducido número de miembros de la población. Mientras más pequeña es la “muestra”, más imprecisos son los resultados. Aumentar el tamaño de la “muestra” mejora progresivamente la precisión, y una “muestra” que alcanzase la dimensión del universo debiese tener una precisión del 100%.

Como quiera que sea, las “muestras” utilizadas raramente van más allá de un millar de individuos. A ese nivel se estima que se obtiene un “intervalo de confianza” satisfactorio, es decir una precisión útil para los objetivos del estudio realizado. Poco importa que un intervalo de confianza “satisfactorio” de más o menos un 5% (o sea un abanico de 10%) admita el triunfo de uno u otro candidato en la segunda vuelta, dado lo cual sería más honrado decir “No tengo una pijotera idea de quién va a ganar”.

En todo caso, la calidad de una muestra está ligada a su capacidad de ser el fiel reflejo de toda la población objeto del estudio. Se habla entonces de una “muestra representativa”. Aquí comienzan los problemas. ¿Qué es una “muestra representativa”?

Las opiniones divergen al punto que hay especialistas que niegan la simple posibilidad de definir una “muestra representativa”. Normas tan reputadas como AFNOR o ISO, simplemente ignoran hasta la definición de lo que puede considerarse “muestra representativa”.

“Antes de hablar de representatividad se debe definir la noción de población, de muestreo de esa población, y finalmente de muestra de esa población”. “Una población de dimensión finita se define como un conjunto de unidades separadas que pueden ser indexadas por los N primeros enteros y representada por:
{ , 1,..., } i P = u i = N sin distinción de orden”.
(“Echantillon representatif d’une population finie: définition statistique et propiétés”. Léo Gerville-Réache (1-2). Vincent Couallier (1-2) & Nicolas Paris (3). 1) Université de Bordeaux-II. 2) CNRS, UMR 5251. 3) Optima-Europe, Mérignac. France).

Sin perderse en la jerga matemática, esto significa que es necesario conocer la población en modo tal que todas y cada una de las unidades que la componen puedan tener la posibilidad de ser elegidas para formar parte de la “muestra”. Es fácil comprender que no se puede construir una muestra a partir de una población desconocida.

Es aquí donde entra el SERVEL, que confiesa –entre otros– que en el padrón oficial hay 600 mil electores muertos y que le es imposible eliminarlos de las listas electorales por razones que, si bien ponen en evidencia su incuria, su incompetencia o su impreparación, no vienen al caso. Lo claro es que si el universo o población a estudiar por métodos estadísticos es desconocida, o imperfectamente conocida, no se cumple la condición primera para la construcción de una “muestra representativa”.

Uno se dice que la ágil empresa encuestadora podría filtrar el padrón, eliminar los individuos que no cumplen con la elemental exigencia de estar en vida, “pulir” el universo. Aceptar este principio equivale a aceptar que dicha empresa pueda manipular el universo en estudio a partir de vaya uno a saber qué criterios: el estar muerto no es la única causa por la que un elector inscrito debe ser dado de baja.

A contrario, uno puede suponer que la inscripción automática pudo haber ignorado la inscripción de un cierto número de electores que sí debiesen estar en el padrón, o que los puso en una Comuna errada, etc., y que conviene rectificar esos errores.

Pasemos por alto que Juan Emilio Cheyre, presidente del Consejo Directivo del SERVEL, ignora la diferencia entre un voto válido y un voto nulo –a su juicio habría que preguntarle al SERVEL (sic)– y preguntémonos de qué diablos sirve el organismo encargado de velar por el correcto funcionamiento de uno de los principales ejercicios democráticos: el voto.

Entretanto hagamos como en el cuento del murciélago (“finalmente el murciélago logró encontrar la clave para abrir la puerta del edificio…”), aceptemos que el universo es conocido, que está convenientemente listado, identificado, indexado, etc., y que la eminente empresa de estudios de opinión puede proceder a construir la “muestra representativa”.

Para ello es necesario definir un método de muestreo, o sea un algoritmo (una fórmula matemática) que permita, sin ambigüedades, crear una muestra. Dicho en cristiano, cómo se determina a quién le toca, y a quién no.

La representatividad de una muestra no puede ser considerada sino en términos de la calidad de una muestra proveniente de un método de muestreo dado. Es pues el método de muestreo elegido el que le dará a la muestra su calidad de representatividad.

Si la calidad de la muestra depende de la elección de un método ¿Puede hablarse de objetividad? ¿Podemos preguntarnos si un determinado método de muestreo orienta los resultados obtenidos en un sentido o en otro? Sí, podemos. Hay quienes van aún más lejos.

Para Yves Tillé (2001) “El concepto de representatividad está tan prostituido que es portador de numerosas ambivalencias. Esta noción, de orden esencialmente intuitivo, no sólo es sumaria sino también falsa, y en muchos aspectos está invalidada por la teoría”.

Para Jean Vaillant (2005) “La definición de muestra representativa difiere según que el plan de muestreo es probabilista o no probabilista:

• Un plan probabilista suministra una muestra representativa si cada individuo de la población tiene una probabilidad conocida y no nula de ser incluido en la muestra.

• Un plan no probabilista suministra una muestra representativa si la estructura de la muestra, para ciertas variables clave, es similar a la de la población objeto del estudio. Por ejemplo, se puede querer construir una muestra para la cual las proporciones de categorías de individuos sean similares en la muestra a las que contiene la población estudiada (principio del método de las “cuotas”).”

Aquí el tema se pone interesante, cachondo y rumboso, ya vas a ver.

Si decidimos utilizar un método probabilista, tenemos que encontrar una fórmula que le de a cada individuo la misma probabilidad de ser incluido en la muestra. Como se trata de un método aleatorio, teóricamente la “muestra representativa” podría contener sólo mujeres, o solo hombres, sólo rubias o sólo morenas, o sólo individuos mayores de 65 años, o menores de 20. Nada garantiza que la estructura de la muestra representativa –según el criterio probabilista– deba guardar alguna relación con la estructura de la población estudiada.

De tal manera que, a título de ejemplo, pudiésemos obtener una muestra en la que no haya ningún elector del norte, o ninguno de la Región Metropolitana. La “muestra representativa” pudiese estar constituida solo de pobres, o de ricos, o de “personas en situación de calle”, y habida cuenta del padrón del SERVEL, sólo de electores fallecidos.

Si por el contrario, el método elegido obedece a criterios no probabilistas y se funda en el principio del método de las cuotas, habrá que determinar cuales son las variables clave que hay que tomar en cuenta para que la “muestra representativa” contenga la proporción que corresponde a la existente en la población objeto del estudio.

¿Quién y cómo determina cuales son esas variables? Buena pregunta.

Tratándose de una encuesta que busca determinar la probable votación que obtendrá tal o cual candidato, la cantidad de variables es significativa: edad, nivel de educación, categoría socio-profesional, nivel de ingresos, preferencias sexuales, orientación filosófica, estado civil, sector económico en el que se gana la vida (público o privado, industrial, comercial, agrícola, servicios, marítimo...), región en la que habita, dimensión de la ciudad o pueblo en el que habita, barrio en el que tiene domicilio, deporte que practica, etc., etc.

Una vez más henos aquí confrontados a decisiones de carácter subjetivo que los sociólogos más serios intentan objetivar en modo de no “sesgar” la construcción de la “muestra representativa”. ¿Lo logran? Eso es otro cuento.

Llegados a este punto nos vemos obligados, una vez más, a copiar el cuento y aceptar que el murciélago logró entrar en el ascensor y pulsar el botón del piso en que vivimos… Obtuvimos una “muestra representativa”, sin sesgos, la objetividad pura.

Para interrogar a los individuos que conforman nuestra muestra tenemos que definir las preguntas a las que serán sometidos. Y nos encontramos con un obstáculo que las empresas de estudios de opinión salvan con una sorprendente agilidad: ¿hacemos preguntas abiertas o cerradas?

Una pregunta abierta tiene la ventaja de dejarle plena libertad al entrevistado para que nos entregue su verdadera opinión. Por ejemplo: “¿Qué tipo de comida le gusta?” La dificultad estriba en que ese tipo de respuesta, si es rica en información, es difícilmente computable.

De ahí que el fabricante de encuestas prefiera las preguntas cerradas:

¿Qué tipo de comida prefiere?
A: comida chatarra
B: comida casera

Las posibilidades se limitan a dos, el entrevistado sólo tiene que marcar una preferencia. En el ejemplo vemos claramente que la forma de la pregunta tiene un sesgo evidente en contra de la llamada “fast food”. Para ser objetivos y evitar el “sesgo” habría que ofrecer dos respuestas aparentemente neutras, de tipo:

¿Qué tipo de comida prefiere?
A: comida rápida
B: comida casera

Digo “aparentemente neutras” porque limitar las respuestas a dos, deja afuera una enorme gama de comidas que no están incluidas en ninguna de las dos categorías. El entrevistado es guiado hacia las respuestas que le interesan al fabricante de encuestas.

Del mismo modo, realizar una encuesta omitiendo algunos candidatos, o entrevistar sólo a individuos que tienen más posibilidades de conocer a un determinado candidato, o de simpatizar más con uno que con otro, es una forma de orientar o sesgar las respuestas. Para no hablar de preguntas que conciernen un evento ficticio: “Si las elecciones fuesen mañana…”, o bien, “Si los dos candidatos de la segunda vuelta fuesen...” En ambos casos el fabricante de encuestas construye el fenómeno que “estudia”.

Otro elemento perturbador tiene que ver con preguntas que el entrevistado puede considerar atentatorias a su privacidad, o a la consideración que tiene de sí mismo:

“¿Cuáles son sus preferencias políticas?
A: el fascismo
B: el comunismo
C: el liberalismo”

“Ud. se considera:
A: rico
B: pobre
C: clase media”
(es sabido que en Chile, con la notable excepción de los Luksic y un par de “personas en situación de calle”, todos somos clase media…)

O bien preguntas que pueden ofender el pudor del entrevistado, tales como:

“¿Usa condones?
A: sólo con mi amante
B: en las relaciones ocasionales
C: con mi esposa, mis amantes y mis relaciones ocasionales”

O bien,

“¿Ha cometido adulterio?
A: frecuentemente
B: de vez en cuando
C: sólo con personas del sexo opuesto”

Un experimentado fabricante de encuestas sabe que tiene que poner ese tipo de preguntas en la forma más neutra posible, facilitándole al entrevistado la posibilidad de una respuesta, pero encasillándole de todos modos en las respuestas que él mismo fabrica y acota.

Otra dificultad se presenta cuando la entrevista trata temas que probablemente el entrevistado no domina:

“¿Qué piensa de la evolución del spread aplicado a la compra de deuda soberana en los países emergentes?”

Estimar que los individuos que conforman una muestra (y por ende la población objeto del estudio) son cretinos, subnormales, asopados o un pelín limitados, es una condición sine-qua-non para ser fabricante de encuestas.

A este punto el murciélago del cuento llegó al piso en que vivimos, identificó la puerta de nuestro apartamento, y se apresta a tocar a nuestro timbre…

Disponemos de una serie de preguntas no sesgadas, y un ejército de encuestadores aborda todos y cada uno de los individuos de la “muestra representativa”, por teléfono, o en entrevista presencial, les somete al cuestionario “libre de sesgos”, y anota cuidadosamente las respuestas.

¿Todo bien? No.

Un porcentaje significativo de entrevistados rehúsa responder, y algunos fabricantes de encuestas clasifican esa reacción en: “No sabe”, “No opina” o “No responde”. Pero se cuidan mucho de explicitar en las conclusiones de sus estudios de opinión cuántos entrevistados rechazaron responder y se atrincheraron en un mutismo que les es incomprensible, inútil y dañino.

De entrada, los refractarios reducen el tamaño de la “muestra representativa”, y por vía de consecuencia reducen el intervalo de confianza de los artefactos estadísticos, admitiendo que se pueda hablar de “confianza” cuando se trata de encuestas y de estadísticas.

Otras perturbaciones conocidas (p. ej. la vergüenza que le provoca a ciertos electores admitir que votan por un fascista o por Escalona, o el temor –fundado o infundado– de sufrir represalias en virtud de su voto), llevan a los fabricantes de encuestas a introducir en sus cálculos algunos elementos de corrección, que vienen a ponderar las cifras obtenidas con el propósito de acercarse más a la verdad, minimizar las aberraciones, etc.

Cada empresa de estudios de opinión tiene sus propios métodos para ponderar tales o cuales cifras, determina sus propios índices correctores de tales o cuales respuestas, o para decirlo de un modo más próximo a lo que hacen realmente, chamulla como le da la real gana.

No sé si Winston Churchill conocía todo lo que aquí he contado, en todo caso pronunció alguna vez una frase para el bronce: “Yo creo en las estadísticas sólo cuando las falsifico yo mismo”.

En cuanto a la pretensión de analizar y dar cuenta de la opinión pública, el gran intelectual francés Pierre Bourdieu escribió una sentencia cáustica y definitiva: “La opinión pública no existe”.

Cuando un periodista le pregunte a un candidato, “¿Cuánto marca en las encuestas?”, recuerda lo que aquí he resumido en pocas líneas, y ten presente que el verdadero propósito de los institutos de estudio de la opinión pública es decirnos lo que pensamos, antes de decirnos lo que debemos pensar.

Si quienes los pagan no estuviesen convencidos de que los sondeos de opinión sirven para manipular las percepciones de los ciudadanos, los institutos como el CEP y similares no existirían. Su fondo de comercio es siempre el mismo: una pretendida cientificidad que se vende y se compra para respaldar argumentos falaces disfrazados con los perendengues de la “experticia”.

Palabra de experto.

Luis Casado