Na validação de modelos de IA, os dados de avaliação devem ser separados de acordo com a finalidade de uso. Na análise de dados de metano, o desempenho obtido ao misturar registros de momentos próximos da mesma propriedade pode ser diferente do desempenho de aplicação em outra propriedade. O capítulo 8 de Tecnologia e soluções para comprovar a redução de carbono enfatiza a separação entre treinamento e avaliação e a comparação com um modelo de referência simples.
Defina primeiro os conceitos e o escopo de aplicação
Os dados de avaliação devem ser separados entre aqueles usados para selecionar o modelo e aqueles reservados para verificar seu desempenho final. Se os mesmos dados forem usados repetidamente para comparar métodos e depois apresentados como avaliação final, o desempenho real em aplicação poderá ser superestimado. O procedimento de avaliação deve ser definido primeiro, de acordo com a finalidade de uso. No campo, a distribuição dos dados e as condições operacionais podem mudar. Registre os critérios para detectar mudanças, reavaliar o modelo e suspender seu uso. Além das métricas de desempenho, é importante examinar quais ações podem ser tomadas a partir de previsões incorretas e quais custos isso acarreta.
O relato (R) registra o contexto e os cálculos. Documenta todo o processo, desde as regras usadas para tratar os dados originais até a conclusão obtida. Isso inclui como os dados ausentes foram preenchidos, quais critérios foram usados para excluir valores atípicos, que versão de qual modelo foi utilizada e como a incerteza foi estimada. A qualidade de um relatório é avaliada pela possibilidade de reproduzir os resultados, e não pelo brilho das conclusões.
Os limites do sistema definem quais fontes de emissão, gases, períodos e organizações serão incluídos nos cálculos. Se os limites não forem claros, as partes poderão esperar resultados diferentes para a mesma quantidade de redução de emissões. Verifique as regras de inclusão e exclusão e os critérios de materialidade da metodologia aplicável; informe logo no início do relatório se o resultado diz respeito à propriedade inteira ou a uma fonte de emissão específica.
Uma linha de base baseada em fatores de emissão também é uma opção. O Tier 1 do IPCC usa fatores padrão; o Tier 2 para fermentação entérica considera com mais detalhe características de manejo, ingestão de energia bruta, taxa de conversão de metano, entre outros elementos. Fatores médios podem não captar facilmente o efeito da tecnologia em uma propriedade individual, mas o uso de fatores não é, por si só, inadequado para a compensação. O critério é verificar se foram observados os fatores e dados de atividade permitidos pela metodologia aplicável, as condições de aplicação, o tratamento da incerteza e a verificação.
Um caminho de desenvolvimento realista é acumular observações de concentração e medições de referência das taxas de emissão, conectando-as a informações sobre ventilação, condições meteorológicas, número de animais e ração. Avalie o erro de previsão em propriedades e períodos que não foram usados no desenvolvimento do modelo e especifique o escopo de aplicação. Mesmo que aumente o número de observações simultâneas, a confiança no modelo não melhora automaticamente quando falta representatividade ou há vieses comuns.
As emissões de metano associadas à alimentação e à ruminação variam até mesmo dentro de um dia. O horário de pico depende da ração, do método de fornecimento e do comportamento do animal, portanto não pode ser fixado em intervalos de dezenas de minutos. O erro de horário entre registros e o atraso de transporte nas tubulações devem ser controlados para que sejam muito menores do que a escala temporal das mudanças analisadas.
Se a referência temporal não tiver sido confirmada, estime primeiro a magnitude do erro e do atraso e avalie seu impacto na análise. Um erro pequeno em uma agregação diária pode ser grande na análise de eventos por minuto. Exclua os dados irrecuperáveis das análises combinadas nessa escala temporal ou limite o escopo de interpretação, registrando o motivo.
Condições e limites da aplicação no campo
Imagine um caso em que os registros dos sensores de vários dias tenham sido distribuídos aleatoriamente entre os conjuntos de treinamento e avaliação. Um resultado que se ajusta bem aos padrões diários recorrentes não explica necessariamente as condições de uma nova propriedade. A avaliação para prever operações futuras e a avaliação para aplicação em outras propriedades devem começar por diferentes formas de separar os dados. O pré-processamento e o tratamento de dados ausentes também não devem usar antecipadamente informações do conjunto de avaliação.
Separe primeiro os dados de avaliação. Se os dados de horários próximos da mesma propriedade forem distribuídos aleatoriamente entre os conjuntos, o desempenho de um modelo que memorizou padrões recorrentes do local poderá ser confundido com seu desempenho em propriedades novas. Se o objetivo for prever operações futuras, separe os dados por ordem temporal; para uso em outras propriedades, faça a separação por propriedade. Diferencie os dados de validação usados na seleção do modelo daqueles reservados para a avaliação final de desempenho; execute também o pré-processamento e o preenchimento de dados ausentes segundo regras definidas com base nos dados de treinamento.
Os dados de avaliação de IA devem ser separados de acordo com a finalidade de uso. Para prever a operação futura, considere a ordem temporal; para aplicar o modelo em outras propriedades, considere a separação por propriedade. Também separe os dados usados para selecionar o modelo daqueles reservados para a verificação final de desempenho. Compare o modelo com um modelo de referência simples e examine não apenas o erro médio, mas também os vieses por propriedade e estação do ano e as condições de falha. Assim será possível explicar o escopo real de uso.
Descreva também o que fazer em caso de falha. Se a calibração estiver vencida, houver perda de comunicação ou surgirem condições de ração, estação do ano ou ventilação que não tenham sido avaliadas, limite a saída ou suspenda o uso e encaminhe o caso ao responsável. Não retome o uso automaticamente após retreinar o modelo. Verifique o modelo alterado com dados de avaliação independentes e registre a data de aplicação e quem o aprovou. O apoio à decisão fornecido pelo modelo e a verificação externa da quantidade de redução de emissões são atividades distintas.
Evidências necessárias para a análise de investimento
Além do desempenho médio, os investidores devem examinar os erros por propriedade e estação do ano e os vieses persistentes. Também devem verificar o que melhorou em comparação com os métodos simples de previsão já existentes. Após o retreinamento, é necessário verificar o desempenho do modelo alterado com dados de avaliação independentes e registrar a data de aplicação e quem o aprovou.
A linhagem dos dados é o caminho que mostra quais dados originais e transformações geraram o valor final. Registre as conversões de unidade, ajustes, filtragens e regras de agregação, juntamente com o equipamento, o canal e o horário de geração. Registre também quem executou e aprovou o processo e o que foi alterado posteriormente, e por quê. A existência dos dados originais e a possibilidade de um revisor qualificado verificar novamente o processamento são condições que devem ser examinadas em conjunto.
Se a pergunta do ensaio e os critérios de decisão forem definidos com antecedência, os participantes também poderão compreender por que os registros são feitos. Mesmo quando os resultados forem diferentes do esperado, mantenha os dados e decida separadamente o que ampliar, o que aprimorar e o que interromper.
Critérios a manter na avaliação
A validação de modelos não termina com a apresentação de uma pontuação alta. É preciso verificar o escopo de uso com dados adequados ao objetivo de implementação e aos custos das falhas. Para condições fora do escopo de treinamento, é necessário ter fundamentos para reavaliar o modelo ou limitar seu uso.
Sobre o autor
Bongjun Lee concluiu a pós-graduação em Gestão de Tecnologia (MOT) da Sogang University. Trabalhou durante 27 anos no setor de medição de gases, incluindo 7 anos na Infitron Co., Ltd. e 20 anos na Honeywell, atuando como engenheiro de serviços, em vendas técnicas e na gestão de canais. Atualmente, como fundador da AI Safety Korea Co., Ltd., pesquisa o monitoramento de metano na pecuária com o uso de sensores, IA e análise de dados, bem como sistemas de medição, relato e verificação (MRV).