Quando vemos um espaço em branco no gráfico do sensor, queremos preenchê-lo rapidamente. Mas eu também sugiro que examinemos por que aquele espaço apareceu. É disso que trata o capítulo 8 de Tecnologia e soluções para comprovar a redução de carbono, ao falar da qualidade dos dados de carbono. Dados ausentes de sensores podem ser apenas um incômodo, mas também podem sinalizar algo relacionado aos resultados, como uma falha ou uma interrupção no fornecimento da ração.
O que vale a pena distinguir primeiro no livro
É bom considerar também os métodos de tratamento dos dados ausentes como parte dos próprios dados. Registre qual duração de intervalo foi estimada e segundo quais regras. Ajuda definir os critérios de tratamento com antecedência, para evitar escolher apenas o método mais favorável depois de ver os resultados. Modificar valores observados não é, por si só, um erro. Mas deve ser possível verificar os motivos da alteração e seu escopo de aplicação. Distinguir os dados originais daqueles que foram completados também ajuda outras pessoas a revisar os resultados.
O relato (R) registra o contexto e os cálculos. Documenta todo o processo, desde as regras usadas para tratar os dados originais até a conclusão obtida. Isso inclui como os dados ausentes foram preenchidos, quais critérios foram usados para excluir valores atípicos, que versão de qual modelo foi utilizada e como a incerteza foi estimada. A qualidade de um relatório é avaliada pela possibilidade de reproduzir os resultados, e não pelo brilho das conclusões.
Estação do ano. Se a ingestão, a composição da ração e as condições de ventilação forem diferentes no verão e no inverno, os efeitos sazonais se misturarão a uma simples comparação de antes e depois. Não se deve atribuir toda a diferença ao efeito da tecnologia nem toda ela à estação; é preciso avaliar a validade do desenho comparativo e dos ajustes.
O controle de qualidade (QC) é a atividade de verificar a consistência, a completude e os erros durante a coleta e a estimativa dos dados. A garantia da qualidade (QA) inclui a análise de se o sistema e os resultados atendem aos objetivos de qualidade definidos. A prevenção na etapa de planejamento, as verificações durante a execução e a revisão dos resultados devem se complementar. As funções e os procedimentos específicos devem seguir as diretrizes aplicáveis; não se deve reduzir a QA apenas à prevenção nem o QC apenas à correção posterior.
A concentração é a proporção de um gás no ar, enquanto a taxa de emissão é a massa emitida por unidade de tempo. Para medir ou estimar emissões, é preciso relacionar a concentração e a vazão, assim como o modelo de medição, de forma adequada ao objetivo. Mesmo que a concentração diminua, não se pode concluir que a taxa de emissão em massa tenha mudado na mesma direção se o fluxo de ar aumentou. Para converter as taxas de emissão ao longo do tempo em quantidade total de emissões, também é preciso considerar o período de medição e o tratamento dos intervalos ausentes.
Se a referência temporal não tiver sido confirmada, estime primeiro a magnitude do erro e do atraso e avalie seu impacto na análise. Um erro pequeno em uma agregação diária pode ser grande na análise de eventos por minuto. Exclua os dados irrecuperáveis das análises combinadas nessa escala temporal ou limite o escopo de interpretação, registrando o motivo.
A IA pode ser usada para identificar possíveis anomalias, estimar pequenos períodos com dados ausentes sob condições definidas e explorar relações entre múltiplas variáveis. Também pode ajudar a organizar dados, verificar sua qualidade e preparar rascunhos de relatórios. Os objetivos e custos das falhas de cada função são diferentes, portanto não se deve avaliar todas com a mesma métrica de desempenho. É preciso informar quais dados de entrada e hipóteses geraram cada resultado e distinguir os valores estimados daqueles observados diretamente.
Como examinar isso no campo
Vamos pensar em um momento em que a comunicação foi interrompida por alguns instantes e em outro em que o equipamento falhou. Ambos podem aparecer como espaços em branco na tela, mas isso não significa que devam ser tratados da mesma maneira. É preciso examinar o motivo e a duração da ausência de observações e o estado da operação naquele momento. Se o intervalo tiver sido preenchido por estimativa, esse dado deve ser distinguido de um valor medido diretamente.
A IA pode organizar observações e estimar valores ausentes. Seu valor não está em ocultar que houve uma estimativa, mas em mostrar com clareza quais dados e hipóteses permitiram obter um valor confiável e dentro de que escopo.
Separe primeiro os dados de avaliação. Se os dados de horários próximos da mesma propriedade forem distribuídos aleatoriamente entre os conjuntos, o desempenho de um modelo que memorizou padrões recorrentes do local poderá ser confundido com seu desempenho em propriedades novas. Se o objetivo for prever operações futuras, separe os dados por ordem temporal; para uso em outras propriedades, faça a separação por propriedade. Diferencie os dados de validação usados na seleção do modelo daqueles reservados para a avaliação final de desempenho; execute também o pré-processamento e o preenchimento de dados ausentes segundo regras definidas com base nos dados de treinamento.
Por fim, há a privacidade e os direitos sobre os dados. Os dados das propriedades podem estar ligados a informações sobre os animais, resultados de produção e informações financeiras. Se forem reutilizados para finanças, seguros ou marketing além do objetivo de verificar a redução de emissões, os produtores poderão perder a confiança. Como mencionei no capítulo 1, quando se perde a confiança, a qualidade dos dados também se perde. Por isso, a limitação de finalidade, o consentimento separado, os diferentes níveis de acesso e os procedimentos para contestação são tão importantes quanto a segurança técnica. Esse desenho é desenvolvido na discussão contratual do capítulo 12 e na recomendação de política pública nº 12.
Perguntas a incluir na análise de investimento
Se receberem os dados, perguntem a taxa de dados ausentes e as regras usadas para excluí-los ou completá-los. Também é importante saber quanto a conclusão muda quando essas regras são aplicadas. É fácil esquecer de verificar se os relógios do sensor, do alimentador e do controlador de ventilação estão sincronizados. Agrupar dados de momentos diferentes como se fossem da mesma situação pode alterar a interpretação.
Se for difícil estabelecer um grupo de comparação, use linhas de base repetidas para entender a variabilidade e as tendências ao longo do tempo, mas não suponha que esses dados, por si só, eliminem todos os fatores de confusão. Mesmo que a mudança seja menor do que a variação natural das observações individuais, é possível estimar um efeito médio por meio de repetições independentes suficientes. Por outro lado, uma diferença aparentemente grande pode resultar da estação do ano ou do crescimento. Apresente em conjunto a estimativa do efeito, o intervalo de confiança e os limites da interpretação causal.
Registre também resultados menores do que o esperado ou sem efeitos claros. Incluir no relatório observações diferentes do esperado e a análise de suas causas ajuda a evitar a repetição dos mesmos problemas em ensaios posteriores.
Uma pergunta para levar ao fechar o livro
Às vezes, é mais útil ter registros que expliquem os intervalos ausentes e os motivos do tratamento do que um gráfico perfeitamente uniforme. Não esconda os espaços em branco; registre quais dados foram usados para completar as lacunas e até que ponto eles foram complementados. Essa explicação será o ponto de partida da próxima análise.
Sobre o autor
Bongjun Lee concluiu a pós-graduação em Gestão de Tecnologia (MOT) da Sogang University. Trabalhou durante 27 anos no setor de medição de gases, incluindo 7 anos na Infitron Co., Ltd. e 20 anos na Honeywell, atuando como engenheiro de serviços, em vendas técnicas e na gestão de canais. Atualmente, como fundador da AI Safety Korea Co., Ltd., pesquisa o monitoramento de metano na pecuária com o uso de sensores, IA e análise de dados, bem como sistemas de medição, relato e verificação (MRV).