Cuando vemos espacios vacíos en un gráfico de sensores, queremos rellenarlos enseguida. Pero les sugiero que también examinemos por qué aparecieron. Este es el tema de la calidad de los datos de carbono del capítulo 8 de «Tecnología y soluciones para demostrar la reducción de carbono». La falta de datos de sensores puede ser una simple molestia, pero también puede indicar algo relacionado con los resultados, como una avería o una interrupción de la alimentación.
Lo primero que conviene distinguir en el libro
Conviene considerar que el método utilizado para completar los datos faltantes también forma parte de los datos. Hay que dejar constancia de la duración de los intervalos estimados y de las reglas aplicadas. Ayuda definir de antemano los criterios de tratamiento para evitar elegir, después de ver los resultados, solo el método más favorable. Modificar valores observados no es incorrecto por sí mismo. Sin embargo, debe poder comprobarse el motivo de la modificación y el alcance en que se aplicó. Si se distinguen los datos originales de los datos completados, otras personas podrán revisar los resultados.
El reporte (R) deja constancia del contexto y los cálculos. Documenta todo el proceso: qué reglas se aplicaron a los datos originales y cómo se llegó a una conclusión. Aquí se explica cómo se completaron los datos faltantes, con qué criterios se excluyeron valores atípicos, qué modelo y versión se utilizaron y cómo se estimó la incertidumbre. La calidad de un informe se evalúa por su reproducibilidad, no por lo impresionante de sus conclusiones.
Estacionalidad. Si la ingesta, la composición del pienso y las condiciones de ventilación difieren entre verano e invierno, una simple comparación antes y después también incluirá efectos estacionales. No hay que atribuir automáticamente todas esas diferencias a la tecnología ni a la estación; se deben revisar la validez del diseño comparativo y de los ajustes.
El control de calidad (QC) consiste en revisar la coherencia, integridad y posibles errores en la recopilación y el cálculo de los datos. El aseguramiento de la calidad (QA) incluye la revisión de si el sistema y sus resultados cumplen los objetivos de calidad establecidos. La prevención durante la planificación, las comprobaciones durante la ejecución y la revisión de resultados deben complementarse. Las funciones y los procedimientos concretos se ajustan a las directrices aplicables; no hay que reducir el QA únicamente a la prevención ni el QC a corregir errores después de que ocurran.
La concentración es la proporción de un gas en el aire, mientras que la tasa de emisión es la masa emitida por unidad de tiempo. Para medir o estimar las emisiones, hay que relacionar la concentración y el caudal con un modelo de medición adecuado al propósito. Aunque la concentración disminuya, no puede suponerse que la tasa de emisión másica cambie en la misma dirección si aumenta el flujo de aire. Para convertir las tasas de emisión a lo largo del tiempo en una cantidad total de emisiones, también hay que definir el periodo de medición y cómo se tratarán los intervalos sin datos.
Si no se conoce la referencia temporal, primero se estiman la magnitud del error y el retraso, y se evalúa su efecto en el análisis. Un error que apenas afecta a los totales diarios puede ser importante al analizar eventos minuto a minuto. Los datos que no puedan recuperarse se excluyen del análisis conjunto a esa escala temporal, o se limita el alcance de la interpretación, dejando constancia del motivo.
La IA puede utilizarse para identificar posibles anomalías, estimar breves intervalos sin datos en condiciones definidas y explorar relaciones entre distintas variables. También puede ayudar a organizar datos, revisar su calidad y preparar borradores de informes. Como el propósito y el coste de los fallos difieren entre funciones, no deben evaluarse todas con el mismo indicador de rendimiento. Hay que indicar con qué entradas y supuestos se obtuvo cada resultado, y distinguir los valores estimados de los observados directamente.
Así pueden examinarlo en el campo
Piensen en una breve interrupción de las comunicaciones y en una avería del equipo. Ambas pueden aparecer como espacios vacíos en la pantalla, pero no necesariamente deben tratarse del mismo modo. Hay que examinar la causa y duración de la falta de observaciones y el estado operativo durante ese periodo. Si se rellenan los datos con estimaciones, deben mantenerse diferenciados de los valores medidos directamente.
La IA puede organizar las observaciones y estimar los valores faltantes. Su valor no está en ocultar que se trata de estimaciones, sino en mostrar con qué datos y supuestos se generaron valores fiables y hasta qué alcance pueden considerarse fiables.
Primero se separan los datos de evaluación. Si se mezclan aleatoriamente mediciones cercanas en el tiempo de una misma granja, el rendimiento que refleja patrones repetidos del sitio puede confundirse con el rendimiento en granjas nuevas. Si el propósito es predecir operaciones futuras, se separan los datos cronológicamente; si se quiere aplicar el modelo en otras granjas, se separan por granja. Hay que distinguir los datos de validación utilizados para seleccionar el modelo de los datos reservados para la comprobación final del rendimiento, y aplicar el preprocesamiento y la imputación de datos faltantes según reglas definidas a partir de los datos de entrenamiento.
Por último, están la privacidad y los derechos sobre los datos. Los datos de las granjas pueden relacionarse con información de animales, resultados productivos y finanzas. Si se reutilizan para finanzas, seguros o marketing más allá de la verificación de reducciones, se pierde la confianza de los productores. Como se mencionó en el capítulo 1, perder la confianza también deteriora la calidad de los datos. Por eso son tan importantes como la seguridad técnica la limitación de finalidad, el consentimiento por separado, los distintos niveles de acceso y los procedimientos para presentar objeciones. Este diseño se desarrolla en el debate contractual del capítulo 12 y en la recomendación de política número 12.
¿Qué conviene preguntar también al evaluar una inversión?
Cuando reciban los datos, pregunten por la tasa de datos faltantes y por las reglas utilizadas para excluirlos o completarlos. También importa cuánto cambia la conclusión al aplicar esas reglas. Es fácil pasar por alto otra comprobación: si coinciden los relojes de los sensores, los alimentadores y los controladores de ventilación. Si se agrupan datos de momentos distintos como si describieran la misma situación, la interpretación puede cambiar.
Si resulta difícil establecer un grupo de comparación, se puede utilizar una línea de base repetida para conocer la variabilidad y las tendencias temporales, pero esos datos por sí solos no eliminan todos los factores de confusión. Aunque un cambio sea menor que la variabilidad natural de observaciones individuales, es posible estimar el efecto promedio con suficientes repeticiones independientes. A la inversa, una diferencia aparentemente grande puede deberse a la estación o al crecimiento. Se deben presentar conjuntamente la estimación del efecto, el intervalo de confianza y los límites de la interpretación causal.
También se registran los resultados inferiores a lo esperado o sin un efecto claro. Incluir en el informe las observaciones que no coincidieron con las expectativas y la revisión de sus causas ayuda a evitar que los mismos problemas se repitan en ensayos posteriores.
Preguntas para llevarse al cerrar el libro
A veces resulta más útil contar con registros que expliquen los intervalos faltantes y el tratamiento aplicado que con un gráfico impecable. No oculten los espacios vacíos: dejen constancia de qué datos se usaron para completarlos y hasta dónde se hizo. Esa explicación será el punto de partida de la próxima revisión.
Sobre el autor
Bongjun Lee se graduó de la Escuela de Posgrado de Gestión de Tecnología (MOT) de Sogang University. Trabajó durante 27 años en el campo de la medición de gases, incluidos 7 años en Infitron Co., Ltd. y 20 años en Honeywell, desempeñando funciones de ingeniería de servicio, ventas técnicas y gestión de canales. Actualmente, como fundador de AI Safety Korea Co., Ltd., investiga el monitoreo de metano en la ganadería y los sistemas de medición, presentación de informes y verificación (MRV) mediante sensores, IA y análisis de datos.