Al validar un modelo de IA, los datos de evaluación deben separarse según el propósito de uso. En el análisis de datos de metano, el rendimiento obtenido al mezclar datos de momentos cercanos de una misma explotación puede diferir del rendimiento al aplicarlo en otras explotaciones. El capítulo 8 de Tecnología y soluciones para demostrar la reducción de carbono destaca los límites entre entrenamiento y evaluación, así como la comparación con modelos de referencia sencillos.
Primero, definamos el concepto y el alcance de aplicación
Conviene separar los datos utilizados para seleccionar el modelo de aquellos destinados a comprobar su rendimiento final. Si se presenta como evaluación final un conjunto de datos que se ha utilizado repetidamente para comparar varios métodos, se puede sobrestimar el rendimiento en condiciones reales. El procedimiento de evaluación debe definirse primero según el propósito de uso. En campo, la distribución de los datos y las condiciones operativas pueden cambiar. Hay que dejar constancia de los criterios para detectar cambios y de los procedimientos de reevaluación y suspensión del uso. Además de los indicadores de rendimiento, es importante examinar las acciones y los costes que podrían derivarse de una predicción errónea.
La notificación (R) deja constancia del contexto y los cálculos. Se documenta todo el proceso: qué reglas se aplicaron a los datos originales y cómo se llegó a una conclusión. Esto incluye cómo se completaron los datos ausentes, con qué criterios se excluyeron los valores atípicos, qué modelo y versión se utilizaron y cómo se estimó la incertidumbre. La calidad de un informe se evalúa por su reproducibilidad, no por lo vistosa que sea su conclusión.
Los límites del sistema definen las fuentes de emisión, los gases, el periodo y la organización que se incluyen en el cálculo. Si los límites no están claros, distintas partes pueden esperar resultados diferentes para una misma cantidad de reducción. Hay que comprobar las reglas de inclusión y exclusión y los criterios de importancia de la metodología aplicable, y especificar al inicio del informe si el resultado corresponde a toda la explotación o a una fuente de emisión concreta.
Una línea base basada en factores de emisión también es una opción. El Nivel 1 del IPCC utiliza factores predeterminados; el Nivel 2 para la fermentación entérica incorpora con más detalle las características de la alimentación y el manejo, la ingesta bruta de energía y la tasa de conversión de metano, entre otros elementos. Los factores medios pueden no captar bien el efecto de una tecnología en una explotación concreta, pero utilizar factores no hace que la compensación sea inadecuada por sí mismo. El criterio es comprobar si se han utilizado factores y datos de actividad permitidos por la metodología aplicable, y si se han verificado las condiciones de aplicación, el tratamiento de la incertidumbre y los resultados.
Una vía realista de avance consiste en acumular conjuntamente observaciones de concentración y mediciones de referencia de las tasas de emisión, y conectarlas con información sobre ventilación, meteorología, número de animales y alimentación. Los errores de predicción deben evaluarse en explotaciones y periodos no utilizados para desarrollar el modelo, y se debe especificar el ámbito de aplicación. Aunque aumenten los datos de observación simultánea, la confianza en el modelo no mejora automáticamente si la muestra no es representativa o presenta sesgos comunes.
Las emisiones de metano relacionadas con la alimentación y la rumia varían incluso a lo largo del día. La hora del pico depende del alimento, del método de administración y del comportamiento de cada animal, así que no puede fijarse en un intervalo de unas decenas de minutos. Los errores horarios entre registros y los retrasos de transmisión por las tuberías deben mantenerse muy por debajo de la escala temporal de los cambios que se pretenden analizar.
Si no se ha confirmado la referencia horaria, primero se estiman la magnitud de los errores y los retrasos y se evalúa su posible efecto en el análisis. Un error pequeño para los agregados diarios puede ser importante al analizar sucesos minuto a minuto. Los datos que no puedan recuperarse se excluyen de los análisis combinados a esa escala temporal o se limita el alcance de su interpretación, dejando constancia de los motivos.
Condiciones y límites de aplicación sobre el terreno
Supongamos un caso en que los registros de sensores de varios días se dividen aleatoriamente entre los datos de entrenamiento y de evaluación. Un buen ajuste a los patrones diarios repetidos no significa que el modelo describa las condiciones de una explotación nueva. La evaluación para predecir operaciones futuras y la evaluación para ampliar el uso a varias explotaciones requieren distintos métodos de separación de datos desde el inicio. El preprocesamiento y el tratamiento de datos ausentes tampoco deben utilizar información de los datos de evaluación por adelantado.
Primero se separan los datos de evaluación. Si se mezclan aleatoriamente datos de momentos cercanos de una misma explotación, el rendimiento del modelo al recordar patrones repetidos del lugar puede confundirse con su rendimiento en una explotación nueva. Si el objetivo es predecir el funcionamiento futuro, se separan los datos siguiendo el orden temporal; si se prevé implementar el modelo en otras explotaciones, se separan por explotación. También se distinguen los datos de validación utilizados para seleccionar el modelo de los datos destinados a la comprobación final de rendimiento, y se aplican a los datos de evaluación las mismas reglas de preprocesamiento y corrección de ausencias definidas con los datos de entrenamiento.
Los datos de evaluación de la IA deben organizarse según el propósito de uso. Para predecir el funcionamiento futuro, conviene respetar el orden temporal; para desplegar el modelo en otras explotaciones, se debe considerar la separación por explotación. También hay que separar los datos utilizados para seleccionar el modelo de los destinados a la última comprobación de rendimiento. Se compara el modelo con una referencia sencilla y se revisan no solo los errores medios, sino también los sesgos por explotación y estación, y las condiciones de fallo; así se puede explicar el ámbito de uso real.
También hay que especificar qué hacer si se produce un fallo. Si la calibración ha caducado, se pierden datos de comunicación o se presentan condiciones de alimentación, estación o ventilación que no se evaluaron, se limita la salida o se suspende su uso y se deriva el caso a una persona responsable. No se debe volver a utilizar el modelo inmediatamente después de reentrenarlo. El modelo modificado debe comprobarse con datos de evaluación independientes, y se registran la fecha de aplicación y la persona que lo aprobó. El apoyo a las decisiones mediante un modelo y la verificación externa de las cantidades reducidas son tareas distintas.
Pruebas necesarias para evaluar una inversión
Los inversores deben examinar los errores por explotación y estación y los sesgos persistentes, además del rendimiento medio. También deben comprobar qué mejora el modelo respecto a un método de predicción sencillo ya existente. Tras el reentrenamiento, conviene comprobar el rendimiento modificado con datos de evaluación independientes y registrar la fecha de aplicación y quién lo aprobó.
La trazabilidad de los datos es el recorrido que muestra qué datos originales y qué transformaciones dieron lugar a la cifra final. Se registran los equipos y canales, la fecha y hora de generación, así como las reglas de conversión de unidades, corrección, filtrado y agregación. También se debe dejar constancia de quién ejecutó y aprobó los procesos y qué cambios se hicieron después y por qué. Hay que comprobar tanto que se conservan los datos originales como que una persona cualificada para la revisión puede reconstruir el proceso de tratamiento.
Si se definen de antemano las preguntas del ensayo y los criterios de decisión, quienes participan también pueden entender para qué se registran los datos. Aunque los resultados difieran de lo esperado, se conservan los datos y se decide qué aspectos ampliar y cuáles corregir o detener.
Criterios que conviene mantener al decidir
La validación de un modelo no termina con la presentación de una puntuación alta. El ámbito de uso debe comprobarse con datos adecuados al propósito de despliegue y al coste de los fallos. Para las condiciones que quedan fuera del alcance del entrenamiento, se necesita una justificación para reevaluar el modelo o limitar su uso.
Sobre el autor
Bongjun Lee se graduó de la Escuela de Posgrado de Gestión de Tecnología (MOT) de Sogang University. Trabajó durante 27 años en el campo de la medición de gases, incluidos 7 años en Infitron Co., Ltd. y 20 años en Honeywell, desempeñando funciones de ingeniería de servicio, ventas técnicas y gestión de canales. Actualmente, como fundador de AI Safety Korea Co., Ltd., investiga el monitoreo de metano en la ganadería y los sistemas de medición, presentación de informes y verificación (MRV) mediante sensores, IA y análisis de datos.