En este artículo se analiza la capacidad de predecir de la encuesta de expectativas económicas, que es una encuesta realizada mensualmente por el Banco Central de Chile a expertos del sector privado. La encuesta contiene preguntas sobre la inflación, tasa de política monetaria, tasas de interés nominales y reales, tipo de cambio y actividad económica. En concreto, las preguntas se refieren a las expectativas—o predicciones—que tienen los encuestados respecto de este conjunto de variables económicas. Los resultados que se publican corresponden a la mediana de las predicciones para cada variable.
Para mayor detalle ver el artículo La encuesta de expectativas económicas: ¿Qué es y para qué sirve?
Este análisis se enfocará en dos variables, el IMACEC y la inflación.
- En el caso del IMACEC, se trata de la tasa de crecimiento anual del IMACEC en el mes anterior. Por ejemplo, en mayo los encuestados predicen el IMACEC de abril, que se publica a principios de junio. El periodo de análisis se extiende desde febrero del 2000 a marzo del 2021.
- En el caso de la inflación, se trata de la inflación mensual, en el mes en que se tomó la encuesta. Por ejemplo, en mayo los encuestados predicen la inflación de mayo, cuyo dato real se conoce a principios de junio. El periodo de análisis se extiende desde febrero del 2000 a abril del 2021.
El código utilizado en este artículo se puede encontrar en GitHub.
Correlación entre valores reales y expectativas
En los siguientes gráficos se muestra los valores reales de cada serie junto con las expectativas calculadas por la encuesta del Banco Central.
En el caso del IMACEC, se encuentra una alta correlación entre valores reales y expectativas. El coeficiente de correlación de Pearson entre ambas variables es de 0.92. La tasa de crecimiento anual promedio del IMACEC durante el periodo de análisis fue de 3.25%, mientras que la expectativa promedio fue de 3.04%.
En el caso de la inflación, se observa una alta correlación, aunque es más difícil de apreciar debido a lo ruidosa que es la serie. El coeficiente de correlación de Pearson es de 0.71. la inflación mensual promedio durante el periodo de análisis fue de 0.26, mientras que la expectativa promedio fue de 0.25.
Métricas de error y Modelos alternativos
Para evaluar la capacidad de predicción de un modelo se deben utilizar métricas de error, que cuantifiquen la capacidad de los modelos para predecir. Las métricas de error miden qué tan precisas son las predicciones. En este análisis se ha optado por usar 4 métricas:
- Sesgo. Mide el error de predicción promedio. Permite saber si en promedio el modelo sobre- o subestima los valores reales. Tiene la desventaja de que los errores positivos y negativos se cancelan mutuamente al calcular el promedio.
- Error absoluto medio (MAE). Mide el promedio de los errores de predicción en valor absoluto. De esta manera se evita que los errores positivos y negativos se cancelen mutuamente.
- Raíz del error cuadrático medio (RMSE). Corresponde a la raíz cuadrada del error cuadrático medio, que a su vez es el promedio de los errores al cuadrado. En esta métrica los errores se elevan al cuadrado, evitando que los errores positivos y negativos se cancelen mutuamente al tomar el promedio. Además, elevar al cuadrado implica que los errores grandes pesan mucho más en el promedio que los errores pequeños, lo que la hace una medida más exigente, aunque menos adecuada en presencia de outliers.
- R2. Coeficiente de determinación. Se puede interpretar como una versión normalizada el error cuadrático medio. Es más fácil de interpretar ya que normalmente sólo toma valores entre 0 y 1, donde los valores más cercanos a 1 son mejores. Se interpreta como la fracción de la variación de la variable dependiente que es explicada por el modelo.
Por otro lado, para saber qué tan bueno es un modelo se debe comparar su desempeño con el de otro modelo, que sirva de referencia. En este análisis se considerarán dos modelos:
- Encuesta. Corresponde a la expectativa mediana según los datos de la encuesta de expectativas económicas del Banco Central.
- Naive. El valor predicho para el periodo t es igual al valor observado en el periodo t-1.
En resumen, se calcularán las métricas descritas anteriormente para ambos modelos, de forma de determinar si la encuesta de expectativas económicas predice mejor que el modelo Naive.
Resultados del análisis
El siguiente cuadro muestra los resultados para el caso del IMACEC. Se observa que en términos de sesgo es mejor el modelo Naive, y que la predicción de la encuesta de expectativas económicas subestima el valor real de la tasa de crecimiento del IMACEC, es decir, en promedio entrega predicciones menores a los valores reales. En todas las otras métricas, MAE, RMSE y R2, la mejor predicción es la de la encuesta de expectativas económicas.
Se destaca que el modelo Naive hace una predicción bastante buena del IMACEC, cuyo R2 es de 0.72, lo que sugiere que un modelo autoregresivo haría un buen trabajo prediciendo valores futuros del IMACEC.
El siguiente cuadro muestra los resultados para el caso de la Inflación. Se observa que el sesgo es bajo en ambos modelos. En términos de las otras métricas, siempre es mejor la predicción de la encuesta de expectativas económicas. Sin embargo, el R2 revela que la predicción no es muy buena, ya que sólo es capaz de explicar el 48% de la variación de la inflación. También se menciona que la predicción del modelo Naive fue notoriamente mala, lo que sugiere que la inflación no es una variable fácil de predecir.
En el siguiente gráfico de dispersión se muestra la relación entre IMACEC y la predicción de la encuesta de expectativas económicas. En azul se muestran los errores positivos, es decir, cuando la predicción fue mayor que el valor real, y en rojo los errores negativos, cuando la predicción fue menor que el valor real. Se aprecia que ambas variables están muy correlacionadas (0.92). También se aprecia que cuando el IMACEC fue muy bajo, la predicción de la encuesta tendía a sobreestimar su valor, y viceversa, aunque no de una forma muy notoria.
En el siguiente gráfico de dispersión se muestra la relación entre la inflación mensual y la predicción de la encuesta de expectativas económicas. Se observa que la correlación no es tan fuerte como en el caso anterior, lo que también se refleja en las métricas de precisión. También se observa que la predicción de la encuesta de expectativas económica sobreestima la inflación cuando ésta es efectivamente baja, y viceversa.
Conclusiones
En este análisis se verificó la capacidad de la encuesta de expectativas económicas del Banco Central de predecir la tasa de crecimiento anual del IMACEC y la inflación mensual. Se encontró que la encuesta hace un muy buen trabajo prediciendo el IMACEC, aunque se puede decir que se trata de una variable fácil de predecir, ya que el modelo Naive también obtuvo buenos resultados. En cambio, en el caso de la inflación ambos modelos tuvieron un bajo desempeño.