Semanas antes a la incorporación del Gabinete de Comunicación Estratégica; encuestadora dirigida por el Sr. Liébano Sáenz, a Milenio TV, el ahora extinto periódico "El Centro" publicó una carta de María de las Heras cuestionando la metodología del gabinete en una carta enviada al periodista Ciro Gómez Leyva, fechada el 10 de junio de 2008.
En la misiva de las Heras puntualizó y cuestionó los errores cometidos por el gabinete para la realización de una encuestas en los que sobresalen:
1. La omisión de detalles en los resultados de una encuesta telefónica aplicada de 60 preguntas, en donde los resultados no explica el numero de rechazos, "lo que imprime un importante sesgo a la muestra, o por lo menos muchas suspensiones a mitad de las entrevistas , lo cual sesga la interpretación de sus resultados", calificó.
2. Algunas preguntas hechas al publico resultan ser tendenciosas.
3. Liébano Sáenz, redujo los resultados para la medición la opinión pública en solo tres grupos, que no necesariamente remiten a un significado homogéneo entre toda la población investigada, y porque su escala de ninguna manera es suficiente, es decir que no da como opciones al entrevistado todas y cada una de las opciones posibles en el espectro a medir.
4. Hace comparaciones incorrectas que se derivan de su propia redacción y/u opinión, buscando una
respuesta en base a la opinión de un personaje y no de la propia institución.
Por último, en la carta enviada a Goméz Leyva, de las Heras dejó abierta su disposición a discutir su trabajo con el periodista a fin de entregar resultados más profesionales para ella y su equipo.
A continuación el texto íntegro de la carta de María de las Heras:
Estimado Ciro:
Me atrevo a escribirte estas líneas después de percibir tu interés por los resultados de la encuesta nacional del Gabinete de Comunicación Estratégica, resultados que comentaste ampliamente con el Sr. Liébano Sáenz en tu programa de radio el pasado viernes, parte de los cuales retomas el lunes en tu columna de Milenio.
Consciente de que eres un importante líder de opinión y un periodista al que respeto, me creo en la obligación de informarte que el ejercicio presentado por el Gabinete de Comunicación adolece de serios problemas metodológicos, problemas entendibles dado que el Sr. Sáenz no tiene experiencia alguna en el área de la investigación demoscópica.
Quizápor la necesidad de presentar los resultados de las encuestas en los medios de comunicación y limitados por el espacio y el lenguaje permitidos en dichos medios, los encuestadores hemos dado la impresión de que cualquiera puede redactar una serie de ocurrencias en forma de preguntas y después de entrevistar a una serie de individuos escogidos sin ningún rigor metodológico, alardear que se ha hecho una encuesta de opinión y difundir sus resultados como si en realidad lo fuera.
Nada más lejano a la realidad. Estoy cierta de que no ignoras que la realización de encuestas conlleva una serie de requerimientos estadísticos y matemáticos específicos, como también debes saber que el orden y la redacción del cuestionario, así como las conclusiones que se pueden obtener de un experimento de este tipo están sujetos a reglas probadas, experimentadas y discutidas una y otra vez por encuestadores con experiencia en todo el mundo.
Para elaborar una muestra se requieren definiciones probabilistas y estadísticas fundamentales que a su vez determinan la confiabilidad y el error esperado, así como la necesidad de utilizar o no bases de datos clasificadas por estratos homogéneos, ponderadores que permitan nivelar posibles sesgos en el levantamiento de la información, definición de las variables del estudio y con ellas las escalas a utilizar, y muchas otras cosas que no necesariamente se reportan en la nota metodológica que se publica con una encuesta, pero que son tanto o más importantes que cuántas entrevistas se hacen o el método que se escoge para realizarlas.
Desde luego tendría mucho interés en poder conocer y discutir con el Sr. Liébano Sáenz todas estas cuestiones relacionadas con los datos que presentó la semana pasada. No quisiera emitir a este respecto comentario alguno hasta conocer a fondo dicha información, aunque hay ciertos signos en la metodología que presenta que me hacen dudar del rigor científico de su experimento, como por ejemplo que para seleccionar la muestra de teléfonos diga que se utilizaron las secciones electorales, condición que resulta prácticamente imposible toda vez que no hay manera de referenciar números telefónicos por sección.
Encuentro también en su experimento errores elementales, evidentes a la vista de cualquiera que medianamente esté familiarizado con la lectura de estudios demoscópicos. Te comento algunos de ellos:
Estimado Ciro:Me atrevo a escribirte estas líneas después de percibir tu interés por los resultados de la encuesta nacional del Gabinete de Comunicación Estratégica, resultados que comentaste ampliamente con el Sr. Liébano Sáenz en tu programa de radio el pasado viernes, parte de los cuales retomas el lunes en tu columna de Milenio.Consciente de que eres un importante líder de opinión y un periodista al que respeto, me creo en la obligación de informarte que el ejercicio presentado por el Gabinete de Comunicación adolece de serios problemas metodológicos, problemas entendibles dado que el Sr. Sáenz no tiene experiencia alguna en el área de la investigación demoscópica.Quizápor la necesidad de presentar los resultados de las encuestas en los medios de comunicación y limitados por el espacio y el lenguaje permitidos en dichos medios, los encuestadores hemos dado la impresión de que cualquiera puede redactar una serie de ocurrencias en forma de preguntas y después de entrevistar a una serie de individuos escogidos sin ningún rigor metodológico, alardear que se ha hecho una encuesta de opinión y difundir sus resultados como si en realidad lo fuera.Nada más lejano a la realidad. Estoy cierta de que no ignoras que la realización de encuestas conlleva una serie de requerimientos estadísticos y matemáticos específicos, como también debes saber que el orden y la redacción del cuestionario, así como las conclusiones que se pueden obtener de un experimento de este tipo están sujetos a reglas probadas, experimentadas y discutidas una y otra vez por encuestadores con experiencia en todo el mundo.Para elaborar una muestra se requieren definiciones probabilistas y estadísticas fundamentales que a su vez determinan la confiabilidad y el error esperado, así como la necesidad de utilizar o no bases de datos clasificadas por estratos homogéneos, ponderadores que permitan nivelar posibles sesgos en el levantamiento de la información, definición de las variables del estudio y con ellas las escalas a utilizar, y muchas otras cosas que no necesariamente se reportan en la nota metodológica que se publica con una encuesta, pero que son tanto o más importantes que cuántas entrevistas se hacen o el método que se escoge para realizarlas.Desde luego tendría mucho interés en poder conocer y discutir con el Sr. Liébano Sáenz todas estas cuestiones relacionadas con los datos que presentó la semana pasada. No quisiera emitir a este respecto comentario alguno hasta conocer a fondo dicha información, aunque hay ciertos signos en la metodología que presenta que me hacen dudar del rigor científico de su experimento, como por ejemplo que para seleccionar la muestra de teléfonos diga que se utilizaron las secciones electorales, condición que resulta prácticamente imposible toda vez que no hay manera de referenciar números telefónicos por sección.Encuentro también en su experimento errores elementales, evidentes a la vista de cualquiera que medianamente esté familiarizado con la lectura de estudios demoscópicos. Te comento algunos de ellos:Se trata de una encuesta telefónica en la que supuestamente se hicieron más de 60 preguntas por entrevista. Si en entrevistas persona a persona este número de preguntas ya es excesivo, por teléfono parece prácticamente imposible pensar que se hicieron sin tener un enorme número de rechazos --lo que imprime un importante sesgo a la muestra- o por lo menos muchas suspensiones a mitad de las entrevistas --lo cual sesga la interpretación de sus resultados. En algunas preguntas se utilizan escalas no necesariamente excluyentes, como la de la pregunta sobre si el gobernador se inclina por los intereses del partido al que pertenece o por los intereses de los ciudadanos. ¿No cabe en la cabeza del Sr. Sáenz que los intereses del partido al que pertenece el gobernador y los de losciudadanospueden ser exactamente los mismos? Para medir la opinión pública sin duda se debe ser imaginativo, pero eso no quiere decir que se valgan cualquier tipo de ocurrencias como las que utiliza el Sr. Sáenz, como en el caso de la demoscopia zoológica a la que nos somete y que resulta absolutamente inválida desde el punto de vista demoscópico, primero porque utiliza simbologías previamente calificadas de manera arbitraria (hormigas-trabajadoras, zorro-astuto, perico-sin ton ni son) que no necesariamente remiten a un significado homogéneo entre toda la población investigada, y segundo porque su escala de ninguna manera es suficiente, es decir que no da como opciones al entrevistado todas y cada una de las opciones posibles en el espectro a medir. ¿Por qué el Sr. Sáenz no incluyó un águila o un lagarto en su escala? Me atrevo a decir que porque no se le ocurrió, o quizá porque no le convenía. En otras preguntas hace comparaciones incorrectas que se derivan de su propia redacción,como porejemplo la que tiene que ver con la confianza de la gente en una serie de personas o instituciones. Creo que es evidente para cualquier encuestador con la mínima experiencia que no es lo mismo preguntar qué tanto se confía en el Ejército que en los militares, o preguntar sobre la Iglesia o los sacerdotes, el IFE o los consejeros electorales, por eso tiene uno que decidir qué le interesa saber, la confianza que tienen los ciudadanos en las instituciones o la confianza en las personas que en un momento dado las representan. Si no se toma esta definición y se mantiene para todas las personas o instituciones evaluadas, la comparación entre estas es incorrecta, es decir, si quería comparar la confianza que se tiene en los diputados, entonces tendría que haber preguntado la confianza en los militares; si quería comparar la confianza en el Ejército, entonces tendría que haber preguntado por la Cámara de Diputados.Te recuerdo que fue Milenio el primero que presentóen México este tipo de variables en una encuesta y lo hemos hecho continuamente desde el año 2001, por eso me permito afirmar que los resultados que se obtienen pueden ser radicalmente diferentes al parafrasear de una u otra forma este tipo de preguntas.Todos los encuestadores hacemos investigación telefónica, en Milenio las encuestas semanales son telefónicas, pero no verás que ningún encuestador serio pretende comparar los resultados de una telefónica en Nuevo León donde la cobertura de teléfonos en vivienda supera el 80%, con los resultados en entidades como Chiapas, Oaxaca o Veracruz, donde la cobertura apenas ronda el 40% de los hogares. No sólo el porcentaje de cobertura del servicio telefónico hace incomparables resultados entre entidades, tambiéndesvirtúan las comparaciones el hecho de que dichas coberturas están sesgadas hacia los niveles socioeconómicos medios y medios altos, por lo que las encuestas telefónicas tienden a ser favorables a las opciones de derecha, mientras que a las opciones de centro o izquierda son doblemente castigadas.Estos son sólo algunos de los problemas metodológicos que se pueden observar a simple vista en el estudio del Gabinete Estratégico. La total inexperiencia e improvisación del Sr. Liébano Sáenz como experto en la materia me permiten sospechar que existen otros, que insisto, estoy dispuesta a discutir con él en el momento que sea.
Estimado Ciro:
Con tristeza veo que continuamente demuestras interés en tus comentarios por la radio o en el artículo que publicas en Milenio sobre encuestas como la del Gabinete Estratégico conducida por un grupo nobel en los temas demoscópicos, o por las que realiza GEA cuya imparcialidad queda un poco en duda tomando en cuenta que desde el 2006 sus dirigentes son importantes funcionarios en el gobierno de Felipe Calderón y sin embargo, poco o ningún comentario te merecen los esfuerzos que semana a semana y durante ocho años hemos hecho y seguimos haciendo en Milenio.
Si consideras que las encuestas de Milenio tienen alguna deficiencia o limitante metodológica, o piensas que los temas que tratamos o la forma en que lo hacemos no es periodísticamente interesante, por favor házmelo saber para tratar de adecuarlos o perfeccionarlos.
Te aseguro que siempre estaré abierta a cuestionamientos o sugerencias para mejorar las encuestas de Milenio, sobre todo si provienen de un periodista tan profesional como tú.
Sin más por el momento, aprovecho para enviarte un abrazo.
Atentamente
María de las Heras