Causalidad y militancia

OPINIÓN. Un trabajo de científicos del CONICET que busca evaluar el impacto de la presencialidad en los contagios de COVID ha despertado gran controversia, y acusaciones de falta de objetividad y militancia. Esta nota trata de explicar parte de esas críticas, y también encuadrar las mismas.

La búsqueda de relaciones causales es una de las más importantes y prolíficas ramas de la estadística aplicada. Una parte de la econometría (rama conjunta de la estadística y la economía), en particular, busca establecer estas relaciones, y busca la paja en el ojo ajeno cada vez que aparece un trabajo empírico. En general, son más las veces que hay que descartar y matizar los resultados que los que se toman los resultados sin crítica.

Un trabajo de científicos del CONICET que busca evaluar la política seguida por la Provincia de Buenos Aires en el Conurbano, en particular las diferencias en cuanto a mantener o no las escuelas abiertas, ha despertado gran controversia, y acusaciones de falta de objetividad y militancia.  Esta nota trata de explicar parte de esas críticas, y también encuadrar las mismas. El punto central es que la crítica sobre la causalidad es válida, pero la que trata de descalificar el informe por completo, no. Mucho menos lo es la que apunta a los investigadores.

Empecemos por la crítica sobre la causalidad (leer los hilos en Twitter de Federico Tiberti y Leo Tornarolli, entre otros, para una mejor explicación). Se establece en la crítica que el informe no prueba una relación causal entre cierre de escuelas y la disminución de los contagios. El método elegido para probar la relación causal del cierre de las escuelas fue el llamado método de diferencia en diferencias en cuasi-experimentos. La idea básica es comparar la evolución antes y después de un evento (lo que haya pasado en el Conurbano y no en CABA), entre dos grupos, uno llamado de control (no afectado por la política, CABA) y otro de tratamiento (afectado por la política, Conurbano). En este caso, se busca evaluar el efecto diferencial que tuvo la decisión de cerrar las escuelas en el Conurbano con la política de mantenerlas abiertas en CABA.

Primero, para que la evaluación pueda interpretarse en forma causal debe darse el supuesto de tendencias paralelas (parallel trends) que se puede resumir en que la dinámica previa y contrafáctica del Conurbano (qué hubiera pasado si no hubiera habido cierres) vs. CABA debe ser similar. Capaz el Conurbano hubiera bajado igual la tasa de contagios en relación a CABA. La evolución previa de las dos regiones muestran dinámicas similares con lo cual el quiebre podría mostrar una clara diferenciación. ¿Es esto suficiente para evaluar el cierre de escuelas? Bueno, quedan otros puntos.

Segundo, debería argumentarse que lo único que cambió fue el cierre de escuelas, mientras que otras políticas de la cuarentena deberían haberse mantenido estables, por lo menos en forma relativa entre las dos regiones.  La idea es que el quiebre, si lo hubo, debe asignarse exclusivamente al cierre de las escuelas y no a otros factores, como distintas restricciones a la movilidad o cierre de actividades de otras cosas. Aquí es difícil evaluar, pero hay grandes diferencias de implementación y cumplimiento entre CABA y Conurbano, incluso entre municipios de este último.

También relacionado con esto, y con efectos de medición, la disponibilidad y la autoselección de los testeos juega un rol central. Un argumento muy usado es que los niños que no van a la escuela no se testean. Sobre esto se menciona sobre todo las tasas positividad en los testeos. La escuela (ni en CABA ni en Conurbano) tiene injerencia en los testeos, solo en el cierre de burbujas. Y aun cuando se cierre una burbuja y haya casos confirmados, sin síntomas no hay testeo. Incluso muchas veces no se testea a niños de padres confirmados (salvo que se insista en la prepaga). Yo no creo que el resultado sea exclusivamente explicado por un sesgo de este tipo. De hecho, al analizar los grupos 0-12 años o 0-18 años hay mayores diferencias, difícil que se deba solo a testeo.

Tercero, no debería haber efectos cruzados entre regiones. En particular que las políticas de restricciones en Conurbano no afectaban las de las regiones colindantes, CABA en particular. La movilidad laboral y recreativa entre regiones es bastante fluida. La existencia de efectos cruzados debería atenuar los efectos, ya que lo que hace una región no debería tener efectos prácticos sobre la tasa de contagios.

Finalmente, otro problema más técnico, es que la diferencia debe evaluarse en forma estadística. En otras palabras, así como dio ese resultado, podría bien haber dado cualquier otro. Para eso se evalúan los errores estándar de cada estimación. Un dicho en la profesión es que todo estimador merece su varianza. Si bien no se reportan estimadores de cambio estructural, podría fácilmente evaluarse que hubo un quiebre de tendencia en las fechas propuestas donde ocurrieron las políticas. El hecho de que se evalúe una baja tendencial permanente (hasta la fecha) y no un solo evento puede ayudar a que esta diferencia se pueda establecer en forma estadística.

Mi opinión es que los puntos segundo y tercero son los que invalidan una inferencia causal, mientras que el primero y el cuarto pueden subsanarse.

¿Si no hay posibilidad de encuadrar los resultados en este enfoque de causalidad, debe descartarse este estudio? Aunque siempre hay críticas a todo análisis empírico, por ejemplo las detalladas anteriormente, se le dio un trato parcial y militante a los resultados del informe, llegando incluso a apuntar al CONICET como un organismo militante pro-gobierno. No sabemos si vamos a poder establecer el link causal entre cierre de escuelas y contagios, pero mirar evidencia comparada es mejor que descartar ad-hominem a los investigadores. Los investigadores deben analizar políticas públicas, y los políticos deben basarse en análisis (aún preliminares e incompletos) de las investigaciones. Es más, los investigadores tienen que analizar aquí y ahora los números, usando lo que hay disponible, sin necesidad de esperar el experimento ideal ni un contrato habilitante. De hecho, tener un sistema científico da la posibilidad de que se dediquen a esto cuando la urgencia lo requiere y no a estudiar el sexo de los ángeles. También es obvio que los políticos van a mirar informes más favorables ex post, sobre todo si son de investigadores de la institución científica más importante del país.

Un punto que resultó sorpresivo es que se mezcló la validez estadística del informe con otra evidencia (no relacionada en absoluto), a saber, el efecto positivo de la escolaridad sobre el desarrollo de los niños y el crecimiento de los países. Los economistas también analizan políticas públicas en cuanto a dilemas entre costos y beneficios, y sustitutos y complementos. En este punto, un análisis de política pública encontraría (en mi opinión) que los costos de cerrar las escuelas (en productividad, psicológicos, etc.) son mayores que los beneficios (reducción de contagios). Por otro lado que deben buscarse sustitutos que compensen la movilidad de las escuelas, como cierre de otras actividades. Mostrar una relación (no necesariamente causal) en el cierre de las escuelas no tiene por qué implicar que los científicos son anti-educación. Tampoco que su investigación es para justificar las políticas de gobierno. El simple hecho de tomarse el tiempo de hacer el informe debe valorarse, y debe llevar a otros a hacer análisis complementarios (los datos son públicos).

Sin embargo, también se debe valorar el análisis por fuera del marco causal. En particular, los que están basados en modelos (epidemiológicos en este caso) y evidencia previa. Los economistas usan mucha evidencia relacionada con modelos complejos teóricos, aun cuando nunca pueda establecerse una relación causal como la que se pide aquí. La más famosa de todas es que la emisión causa inflación. La gran mayoría de los modelos establecen esta relación causal, pero son casi imposibles de satisfacerse los supuestos de causalidad expuestos anteriormente. La búsqueda de cambios exógenos y controles adicionales es incesante, válida, pero no ha impedido que se continúe trabajando con esta relación. Lo que sustenta esta evidencia es que hay un modelo lógico-matemático que determina que analizando la oferta y la demanda en un equilibrio general, si hay exceso de moneda (creación de dinero en realidad) ésta debería reflejarse en exceso de demanda de otros bienes, que se salda con aumentos de precios. Detrás de este resultado hay muchos supuestos de comportamiento, de expectativas (¿cómo va a seguir la emisión?), de dinámica de las variables (¿aumenta la producción? ¿hay sustitutos?), y de teoría del valor en general. Hay una literatura muy abundante en econometría que no utiliza el marco causal que se pide aquí que tiene más en común con el marco de este estudio en particular, las series de tiempo. Muchas veces es el modelo teórico lo que sustenta el análisis empírico, que tiene puntos sin responder.

 En resumen, el informe debe ser valorado como un trabajo positivo, que da un puntapié inicial para que otros tomen la posta. Se presenta evidencia (no concluyente) que sí sugiere que el cierre de las escuelas pudo haber estado detrás de la caída de los contagios. El debate sobre mantener las escuelas abiertas tiene que ir por otro lado, más hacia el lado de análisis costo-beneficio, pero más informes y documentos de trabajo empíricos como este son bienvenidos y necesarios.


Sobre el autor

Gabriel Montes Rojas. Universidad de Buenos Aires - CONICET. Instituto Interdisciplinario de Economía Política
http://gabrielmontes.com.ar
http://iiep-baires.econ.uba.ar/ficha_investigador.php?id=70

Diarios Argentinos