Revisión, propuesta de mejora y ejecución de mejoras al proceso automatizado de revisión de integridad de datos (data profiling)

Conecta Logística es una institución que apoya el desarrollo de la logística en el país, lo que a su vez mejora la calidad de vida de las personas. Una forma de lograrlo es disponibilizando datos de calidad para el uso abierto en el Observatorio Logístico (www.observatoriologistico.cl). Parte importante del trabajo con datos, especialmente cuando son terceros quienes los generan, corresponde a revisar si los nuevos datos cumplen un estándar mínimo esperado. Si es así, se pueden inyectar en el sistema de almacenamiento y procesamiento de datos sin mayor riesgo. Pero si no, se debe evaluar qué pasó; desde que la fuente cambió el formato de los datos hasta identificar errores evidentes en los datos.
El área de Inteligencia de Datos tiene implementado un sistema de procesamiento automatizado de datos, que incluye un subproceso de revisión de integridad de datos. Para este sistema algunas de las tecnologías que utilizamos son Prefect, como orquestador, dBT como herramienta de transformación, y Great Expectations como suite de revisión de integridad. Te invitamos a realizar tu práctica con nosotros ayudándonos a revisar este subproceso, evaluar oportunidades de mejora (que sin duda existen) e implementar aquellas que aporten el mayor valor al proceso.